Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Rozwiązanie Techniczne

Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch Rozwiązanie Techniczne | Optymalizacja Połączeń o Niskim Opóźnieniu dla Klastrów RDMA/HPC/AI

Tło Projektu i Analiza Wymagań

W miarę jak szkolenie dużych modeli AI i obliczenia naukowe HPC osiągają większe rozmiary, kluczowym wyzwaniem dla klastrów obliczeniowych stała się nie moc obliczeniowa pojedynczych węzłów, ale efektywność komunikacji międzywęzłowej. Sieci RDMA służą jako szkielet transportowy dla operacji zbiorczych, dostępu do pamięci masowej i ruchu związanego z punktami kontrolnymi, a ich działanie bezpośrednio determinuje ogólną wykorzystanie klastra.

Typowe wymagania w tych projektach obejmują:

• Wysoka przepustowość na węzeł: Serwery GPU coraz częściej wymagają 200 Gb/s lub więcej, aby nadążyć za obciążeniami szkoleniowymi z wieloma GPU.
• Przewidywalne niskie opóźnienie: AllReduce i synchronizacja parametrów są wrażliwe na opóźnienia skrajne, a nie tylko średnie.
• Skalowalność: Sieć musi skalować się od dziesiątek do setek lub tysięcy węzłów bez przeprojektowywania topologii.
• Zarządzalność: Zespoły operacyjne potrzebują telemetrii i widoczności przeciążeń, aby izolować wolne węzły i błędnie skonfigurowane połączenia.

MQM8790-HS2F jest pozycjonowany do spełnienia tych wymagań jako platforma przełącznika InfiniBand 200 Gb/s HDR.

Ogólny Projekt Architektury Sieci i Systemu

Zalecana architektura to dwupoziomowe fat-tree bez blokowania, z warstwą szkieletową zbudowaną z przełączników MQM8790-HS2F i warstwą liści łączącą węzły obliczeniowe i pamięci masowej. Taka konstrukcja zapewnia jednolitą przepustowość wschód-zachód i przewidywalną różnorodność ścieżek, co jest kluczowe dla wzorców ruchu RDMA.

Kluczowe decyzje architektoniczne obejmują:

• End-to-end HDR: Węzły obliczeniowe wyposażone w adaptery ConnectX-6 lub ConnectX-7 łączą się z prędkością 200 Gb/s z przełącznikami liści, tworząc ścieżkę end-to-end kompatybilną z MQM8790-HS2F.
• Pojemność szkieletu: Każdy przełącznik MQM8790-HS2F 200 Gb/s HDR 40-portowy QSFP56 zapewnia 40 portów przy 200 Gb/s, umożliwiając elastyczną alokację łączy w górę i w dół w zależności od celów nadsubskrypcji.
• Sieć pamięci masowej: Równoległe systemy pamięci masowej i cele NVMe-over-Fabrics mogą być umieszczone w dedykowanych grupach liści, aby odizolować ruch związany z pamięcią masową od ruchu szkoleniowego.
• Płaszczyzna zarządzania: Zarządzanie poza pasmem i zbieranie telemetrii są oddzielone od płaszczyzny danych, aby uniknąć zakłóceń.

Rola Mellanox (NVIDIA Mellanox) MQM8790-HS2F i Kluczowe Cechy

W tym rozwiązaniu Mellanox (NVIDIA Mellanox) MQM8790-HS2F działa jako element przełączający szkielet, agregując ruch liści i umożliwiając obliczenia w sieci. Jego rola nie ogranicza się do przekazywania: zmniejsza również narzut komunikacji zbiorczej i poprawia efektywność sieci.

Kluczowe cechy techniczne obejmują:

• 40 portów HDR 200 Gb/s: Do 16 Tb/s zagregowanej przepustowości w formacie 1U, z adaptacyjnym wsparciem dla prędkości HDR, EDR i FDR.
• Obliczenia w sieci SHARP: Odciąża operacje AllReduce i powiązane operacje zbiorcze na przełącznik, zmniejszając udział GPU i CPU.
• Routing adaptacyjny: Łagodzi gorące punkty i poprawia równoważenie obciążenia na wielu ścieżkach.
• Kontrola przeciążeń: Obsługuje DCQCN i powiązane mechanizmy, aby utrzymać stabilne opóźnienia pod obciążeniem.
• Ekosystem oprogramowania: Zarządzany przez MLNX-OS i monitorowany przez UFM i NetQ.

Architekci powinni zapoznać się z arkuszem danych MQM8790-HS2F i specyfikacjami MQM8790-HS2F dotyczącymi zasilania, chłodzenia i szczegółów podziału portów przed finalizacją układów szaf. W celu budżetowania, ceny MQM8790-HS2F i opcje MQM8790-HS2F na sprzedaż powinny zostać zweryfikowane z kanałem zaopatrzenia, ponieważ ceny różnią się w zależności od skali i konfiguracji.

Rekomendacje dotyczące wdrożenia i rozbudowy

W przypadku początkowego wdrożenia, pojedynczy przełącznik InfiniBand MQM8790-HS2F może służyć jako szkielet i rdzeń w małym klastrze, łącząc do 40 węzłów z prędkością 200 Gb/s. W miarę wzrostu klastra dodawane są kolejne przełączniki szkieletowe, a sieć przechodzi do pełnej dwupoziomowej konstrukcji z separacją liści i szkieletu.

Wskazówki dotyczące rozbudowy:

• Dyscyplina okablowania: Standaryzuj optykę QSFP56 i typy DAC/AOC, aby uprościć zapasy i zmniejszyć ryzyko niezgodności.
• Podział portów: Używaj podziału 2x100 Gb/s tam, gdzie 200 Gb/s na węzeł nie jest wymagane, poprawiając efektywność portów.
• Cele nadsubskrypcji: Planuj stosunki szkieletu do liści w oparciu o wzorce impulsów obciążenia, a nie tylko teoretyczną przepustowość szczytową.
• Zasilanie i chłodzenie: Zweryfikuj zapas mocy na szafę w stosunku do znamionowego poboru mocy przełącznika przed skalowaniem.

Monitorowanie operacyjne, rozwiązywanie problemów i optymalizacja

Widoczność operacyjna jest kluczowa dla utrzymania niskich opóźnień w dużej skali. Rozwiązanie przełącznika InfiniBand MQM8790-HS2F powinno być zintegrowane z UFM do monitorowania całej sieci i NetQ do telemetrii i walidacji.

Zalecane praktyki obejmują:

• Monitoruj liczniki na port, pod kątem błędów, odrzuceń i zdarzeń przeciążenia.
• Śledź kandydatów na wolne węzły za pomocą telemetrii, zamiast polegać wyłącznie na błędach na poziomie zadań.
• Weryfikuj spójność oprogramowania układowego na wszystkich przełącznikach i adapterach, aby uniknąć problemów z kompatybilnością.
• Okresowo przeglądaj konfigurację SHARP, ponieważ błędnie skonfigurowane drzewa agregacji mogą zmniejszyć, a nie poprawić wydajność.

Podsumowanie i Ocena Wartości

MQM8790-HS2F stanowi praktyczną podstawę dla klastrów RDMA, HPC i AI, które wymagają przewidywalnych niskich opóźnień i wysokiej przepustowości. Łącząc 40 portów HDR 200 Gb/s, obliczenia w sieci SHARP i dojrzały ekosystem zarządzania, NVIDIA Mellanox MQM8790-HS2F pomaga architektom projektować sieci, które skalują się bez poświęcania wydajności.

Z perspektywy wartości, wkład przełącznika powinien być oceniany w stosunku do wykorzystania klastra, czasu ukończenia zadań i narzutu operacyjnego, a nie tylko liczby portów.