NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch w praktyce | Optymalizacja niskich opóźnień połączeń dla RDMA, HPC

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch w praktyce w zakresie optymalizacji interkonekcji o niskim opóźnieniu dla klastrów RDMA, HPC i AI

W nowoczesnym szkoleniu AI, symulacji HPC i rozproszonych środowiskach pamięci masowej prawdziwym wąskim gardłem jest rzadko surowa moc obliczeniowa, ale wydajność połączeń między węzłami.NVIDIA Mellanox MQM9790-NS2F, przełącznik 400Gb/s NDR InfiniBand, jest zaprojektowany tak, aby rozwiązywać dokładnie tę warstwę stosu.HPC, a wydajność klastra AI dzięki projektowaniu tkanin o niskim opóźnieniu.

Temat i wyzwania

Typowy klaster sztucznej inteligencji badawczej lub przedsiębiorstwa może składać się z setek serwerów GPU, równoległego systemu plików i harmonogramu pracy rozprowadzającego obciążenia robocze MPI i NCCL.Każdy węzeł może generować znacznie więcej ruchu wschodu-zachodnia niż tkanina HDR o prędkości 200Gb/s może wygodnie wchłonąćZespoły zazwyczaj zgłaszają trzy problemy: wzrost opóźnienia pracy w czasie operacji zbiorowych, przepływ hałasu w warstwach tkanin oraz trudności z skalowaniem liczby portów bez dodawania skoków.

Dla architektów sieci wyzwaniem nie jest po prostu zwiększenie prędkości łącza, ale zachowanie deterministycznego, bez strat transportu, przy jednoczesnym utrzymaniu tkanki wystarczająco płaskiej, aby uniknąć niepotrzebnego opóźnienia.W tym miejscu konieczne staje się ocena specyfikacji MQM9790-NS2F w stosunku do rzeczywistych profili obciążenia pracą.

Rozwiązanie i podejście do wdrożenia

W tym scenariuszu klaster został przeniesiony na tkankę 400Gb/s NDR spine-leaf zbudowaną wokół przełącznika MQM9790-NS2F InfiniBand.zapewnia wysoki radix w jednym przełączniku, co pozwala projektowi na zmniejszenie poziomów tkanin przy jednoczesnym zachowaniu nieblokowanej szerokości pasma.

• Warstwa liści: przełączniki MQM9790-NS2F łączą węzły GPU i cele pamięci masowej za pośrednictwem połączeń NDR o prędkości 400 Gb/s
• Warstwa kręgosłupa: dodatkowe jednostki MQM9790-NS2F zapewniają łączność między liśćmi i różnorodność ścieżek
• Akceleracja zbiorowa: NVIDIA SHARPv3 wyładowuje operacje MPI i NCCL na tkankę
• Kontrola zatłoczenia: dostosowane trasowanie i zaawansowane QoS chronią przed incastem i gorącymi punktami
• Zarządzanie: standardowe narzędzia InfiniBand i telemetria do monitorowania stanu tkanin

Ponieważ przełącznik MQM9790-NS2F InfiniBand jest częścią rodziny Quantum-2, współpracuje z istniejącymi praktykami zarządzania InfiniBand i ekosystemami adapterów.Zespoły oceniające sprzęt kompatybilny z MQM9790-NS2F powinny zweryfikować, czy adaptery kanału hosta, kable OSFP i poziomy oprogramowania układowego są zgodne z wymaganiami NDR.Rozwiązanie przełącznika MQM9790-NS2F InfiniBand tego rodzaju jest zazwyczaj planowane wraz z cyklami odświeżania GPU, aby uniknąć wąskich gardła mieszanej generacji.

Wyniki i korzyści

Po wdrożeniu najbardziej widoczna zmiana dotyczyła czasu zakończenia pracy dla ściśle połączonych obciążeń roboczych.Działania zbiorowe, które dotychczas stały w miejscu z powodu zatłoczenia, są obecnie realizowane z mniejszą i bardziej stałą opóźnieniem końcowymGęstość 64-port OSFP uproszczała również okablowanie i zmniejszała liczbę hopów przełączania między dwoma punktami końcowymi, co bezpośrednio korzystnie wpływa na wydajność RDMA.

Z perspektywy operacyjnej, tkanina stała się łatwiejsza do rozumowania. Mniej poziomów oznacza mniej domen awarii i prostsze rozwiązywanie problemów.udostępnia taki sam transport o niskiej opóźnieniu co ruch obliczeniowyDla menedżerów IT kluczowym wnioskiem jest to, że inwestowanie na warstwie tkaniny może uwolnić zdolności już zapłacone na warstwie obliczeniowej.

Zespoły ds. zamówień i planowania często przeglądają arkusz danych MQM9790-NS2F, aby potwierdzić liczbę portów, moc i koperty chłodzące przed sfinalizowaniem projektu.Pytania dotyczące ceny MQM9790-NS2F i dostępności MQM9790-NS2F do sprzedaży najlepiej kierować do autoryzowanych dystrybutorów i przedstawicieli przedsiębiorstw NVIDIA, ponieważ ceny zależą od konfiguracji, wsparcia i regionu.

Podsumowanie i perspektywy

NVIDIA Mellanox MQM9790-NS2F pokazuje, w jaki sposób platforma NDR o wysokim zasięgu 400 Gb/s może przekształcić wydajność klastra AI, HPC i RDMA bez zwiększania złożoności tkanki.W miarę jak obciążenia rozszerzają się i gęstość procesora GPU wzrastaDla architektów planujących następne odświeżenie tkaniny, MQM9790-NS2F jest praktycznym budulcem dla deterministycznych,połączenie międzyprzewodnikowe o dużej przepustowości.