NVIDIA Mellanox MQM8790-HS2F Rozwiązanie techniczne: Optymalizacja połączeń między sieciami o niskim opóźnieniu dla klastrów RDMA/HPC/AI

To rozwiązanie techniczne jest przeznaczone dla architektów sieci, inżynierów przedsprzedażowych i liderów operacyjnych. Stanowi ono kompleksowy przewodnik po architekturze, wdrażaniu i eksploatacji wysokowydajnych sieci InfiniBand skoncentrowanych wokół NVIDIA Mellanox MQM8790-HS2F, ukierunkowanych na klastry HPC i AI intensywnie wykorzystujące RDMA.

Nowoczesne klastry do trenowania AI i obliczeń naukowych coraz częściej napotykają na wąskie gardło w postaci połączeń sieciowych. Tradycyjne sieci Ethernet mają problemy z kontrolą przeciążenia, opóźnieniami końcowymi i możliwościami odciążania procesora, nie spełniając wymagań rozproszonych wzorców komunikacji treningowej, takich jak All-Reduce i All-to-All. Kluczowe wymagania obejmują: opóźnienia końcowe poniżej mikrosekundy, bezstratny transport bez utraty pakietów, wsparcie dla GPU Direct RDMA oraz możliwość liniowego skalowania do tysięcy węzłów. Dedykowana architektura przełączania InfiniBand jest wymagana do fundamentalnego rozwiązania tych problemów z wydajnością połączeń.

To rozwiązanie zaleca dwuwarstwową topologię Fat-Tree w celu osiągnięcia nienablokującej, pełnej przepustowości bisekcyjnej. Zarówno warstwa liści, jak i kręgosłupa wykorzystują przełącznik InfiniBand MQM8790-HS2F, który oferuje 40 portów 200 Gb/s HDR QSFP56. Przykładem jest klaster 512 węzłów, którego projekt wygląda następująco:

• Warstwa liści: Każdy MQM8790-HS2F łączy 20 węzłów obliczeniowych (podwójne łącze w górę) i 8 łączy w górę do warstwy kręgosłupa.
• Warstwa kręgosłupa: 8 przełączników MQM8790-HS2F tworzy płaszczyznę kręgosłupa, z pełnym połączeniem między każdym przełącznikiem liścia a każdym przełącznikiem kręgosłupa.
• Sieć pamięci masowej i zarządzania: Oddzielna podsieć InfiniBand lub sieć Ethernet poza pasmem, aby uniknąć zakłócania ruchu obliczeniowego.

Ta architektura gwarantuje przepustowość 200 Gb/s między dowolnymi dwoma węzłami, z wieloma redundantnymi ścieżkami zapewniającymi, że pojedynczy punkt awarii nie wpłynie na globalną łączność. Wysoka gęstość portów MQM8790-HS2F 200Gb/s HDR 40-port QSFP56 zmniejsza liczbę wymaganych przełączników o 50% w porównaniu do rozwiązań EDR poprzedniej generacji, jednocześnie obniżając złożoność sieci.

NVIDIA Mellanox MQM8790-HS2F służy jako podstawowa jednostka przełączająca w tym rozwiązaniu, pełniąc następujące kluczowe role:

• Bezstratny silnik przełączający: Kontrola przepływu warstwy łącza InfiniBand eliminuje utratę pakietów, zapewniając wydajność transportu RDMA.
• Routing adaptacyjny: Dynamicznie równoważy ruch na wielu ścieżkach, unikając gorących punktów przeciążenia i poprawiając efektywną przepustowość.
• Obliczenia w sieci SHARPv3: Odciąża operacje redukcji na przełączniku, przyspieszając All-Reduce o 2-3 razy.
• Wysoka gęstość i niskie zużycie energii: 40 portów przy 200 Gb/s z wiodącym w branży zużyciem energii na port, zmniejszając TCO.

Zgodnie z kartą danych MQM8790-HS2F i specyfikacjami MQM8790-HS2F, przełącznik zapewnia łączną pojemność przełączania 16 Tb/s, opóźnienie od portu do portu poniżej 130 ns i obsługuje zasilacze oraz wentylatory z możliwością wymiany podczas pracy dla środowisk produkcyjnych 24/7. Ponadto urządzenie jest w pełni kompatybilne z adapterami NVIDIA ConnectX-6/7 HDR oraz szeroką gamą kabli optycznych/miedzianych HDR, co potwierdza dojrzałość ekosystemu kompatybilnego z MQM8790-HS2F.

Podczas wdrażania rozwiązania należy postępować zgodnie z poniższymi krokami:

• Zarządzanie podsiecią: Wdróż aktywne-pasywne menedżery podsieci (SM); zalecana jest platforma NVIDIA UFM do scentralizowanego zarządzania i telemetrii.
• Partycje i poziomy usług: Użyj kluczy partycji (P_Key) do izolacji najemców lub obciążeń; skonfiguruj mapowania SL2VL, aby nadać priorytet ruchowi treningowemu AI.
• Wybór kabli: Używaj pasywnych kabli miedzianych na krótkich dystansach (≤3m) oraz aktywnych kabli optycznych lub nadajników-odbiorników na dłuższych trasach, aby utrzymać integralność sygnału.

W przypadku większych klastrów przekraczających 2000 węzłów można przyjąć trójwarstwową topologię Fat-Tree lub Dragonfly+, przy czym warstwa rdzenia nadal wykorzystuje MQM8790-HS2F jako element budulcowy. Przy zakupie dodatkowych jednostek sprawdź cenę MQM8790-HS2F i dostępność u autoryzowanych dystrybutorów; zweryfikowane oferty MQM8790-HS2F na sprzedaż zazwyczaj obejmują najnowsze oprogramowanie układowe i gwarancję. rozwiązanie przełącznika InfiniBand MQM8790-HS2F skaluje się płynnie od działowych badań AI po centra superkomputerowe exascale.

Efektywna eksploatacja sieci InfiniBand wymaga proaktywnego monitorowania i zdyscyplinowanego rozwiązywania problemów:

• Monitorowanie: Użyj ibnetdiscover do weryfikacji topologii, perfquery do liczników portów i telemetrii UFM do widoczności przeciążeń w czasie rzeczywistym.
• Typowe problemy i rozwiązania:
  • Migotanie łącza: Sprawdź osadzenie kabla i uruchom testy diagnostyczne kabla; wymień wadliwe optykę.
  • Przełączanie awaryjne menedżera podsieci: Upewnij się, że priorytety SM są poprawnie skonfigurowane i że pomocniczy SM ma prawidłową bazę danych.
  • Nierównomierny routing adaptacyjny: Dostosuj parametry algorytmu routingu (np. routing_engine=ftree) i włącz rozkład obciążenia.
• Wskazówki dotyczące optymalizacji: Włącz agregację SHARP dla operacji zbiorczych; dostosuj MTU do 4096 bajtów dla transferów dużych wiadomości; użyj Quality of Service do oddzielenia ruchu sterującego, danych i zarządzania.

Regularne aktualizacje oprogramowania układowego za pośrednictwem portalu wsparcia NVIDIA zapewniają poprawki bezpieczeństwa i ulepszenia wydajności. Zapoznaj się z kartą danych MQM8790-HS2F w celu uzyskania szczegółowych podstawowych wyników wydajności i oczekiwanych wartości liczników w zdrowych warunkach.

NVIDIA Mellanox MQM8790-HS2F dostarcza przyszłościową platformę przełączania InfiniBand, która rozwiązuje podstawowe wyzwania związane z połączeniami RDMA/HPC/AI w klastrach: opóźnienia, utratę pakietów, narzut na procesor i skalowalność. Wdrażając opisaną powyżej dwuwarstwową architekturę Fat-Tree, organizacje mogą osiągnąć liniowe skalowanie wydajności, przewidywalne czasy zakończenia zadań i znacznie obniżony TCO w porównaniu do starszych rozwiązań Ethernet. Połączenie prędkości 200 Gb/s HDR, gęstości 40 portów i możliwości obliczeń w sieci sprawia, że przełącznik ten jest idealnym wyborem do wdrożeń od podstaw lub stopniowych modernizacji z sieci EDR/HDR. Dla zespołów architektonicznych oceniających klastry nowej generacji, rozwiązanie przełącznika InfiniBand MQM8790-HS2F oferuje sprawdzone, gotowe do produkcji rozwiązanie referencyjne.