Rozwiązanie techniczne NVIDIA Mellanox MCX556A-ECAT: RDMA/RoCE dla transportu o niskich opóźnieniach i optymalizacji przepustowości serwera

Niniejszy techniczny dokument biały jest przeznaczony dla architektów sieci, inżynierów przedsprzedażowych i menedżerów operacyjnych. Koncentruje się na karcie serwerowej NVIDIA Mellanox MCX556A-ECAT i zapewnia systematyczne ramy do budowy wysokowydajnych sieci centrum danych o niskim opóźnieniu przy użyciu technologii RDMA i RoCE.

Nowoczesne obciążenia centrum danych – w tym rozproszone systemy przechowywania danych (Ceph, Lustre), bazy danych w pamięci (Redis, Aerospike) i frameworki do trenowania AI – wymagają zarówno wysokiej przepustowości, jak i opóźnień poniżej milisekundy. Tradycyjne stosy TCP/IP wprowadzają znaczące obciążenie procesora, przełączanie kontekstu i kopiowanie danych, które stają się wąskimi gardłami, gdy prędkości sieci osiągają 100 Gb/s i więcej. Kluczowe wymagania dla infrastruktury nowej generacji obejmują: odciążenie procesora (zmniejszenie wykorzystania procesora hosta), ultra-niskie i przewidywalne opóźnienia (szczególnie dla opóźnień skrajnych), bezstratny transport dla protokołów przechowywania danych (NVMe-oF, iSER) oraz bezproblemową integrację z istniejącą infrastrukturą Ethernet. Karta MCX556A-ECAT bezpośrednio odpowiada na każde z tych wymagań.

Zalecana architektura przyjmuje dwupoziomową topologię leaf-spine z bezstratnym Ethernetem skonfigurowanym do transportu RoCE (RDMA over Converged Ethernet). Wszystkie węzły obliczeniowe i magazynowe są wyposażone w kartę sieciową Ethernet MCX556A-ECAT Ethernet adapter card, podłączoną do przełączników leaf za pomocą łączy 100GbE QSFP28. Przełączniki spine agregują ruch z warstwy leaf, zapewniając nieblokującą przepustowość rdzenia. Kluczowe zasady architektoniczne obejmują:

• Separacja płaszczyzn sterowania i danych: RoCEv2 enkapsuluje RDMA w UDP/IP, umożliwiając routing przez granice warstwy 3.
• Priorytetowe sterowanie przepływem (PFC): Umożliwia bezstratne działanie dla klas ruchu RDMA.
• Ulepszone wybieranie transmisji (ETS): Gwarantuje przepustowość dla przepływów wrażliwych na opóźnienia.
• Powiadomienie o zatorach: Użycie DCQCN (Data Center Quantized Congestion Notification) do sterowania przepływem end-to-end.

Architektura obsługuje zarówno środowiska bare-metal, jak i zwirtualizowane, z SR-IOV zapewniającym bezpośrednie przekazywanie funkcji wirtualnych do maszyn wirtualnych.

Jako karta sieciowa PCIe MCX556A-ECAT ConnectX adapter PCIe network card, ta karta stanowi kamień węgielny rozwiązania. Jej sprzętowy silnik odciążający omija jądro systemu, umożliwiając bezpośredni transfer danych z pamięci do pamięci. Kluczowe funkcje obejmują:

Dla zespołów przeglądających MCX556A-ECAT datasheet i MCX556A-ECAT specifications, należy pamiętać, że karta obsługuje zarówno PCIe 3.0, jak i 4.0 (x16), zapewniając wsteczną kompatybilność z istniejącymi serwerami, jednocześnie oferując ścieżkę migracji do platform nowej generacji.

Referencyjne wdrożenie dla klastra średniej wielkości (do 200 węzłów) opisano poniżej. Karta MCX556A-ECAT jest instalowana w gnieździe PCIe każdego serwera, z podwójną łącznością portów dla redundancji i agregacji przepustowości.

• Topologia fizyczna: Dwa przełączniki spine, cztery przełączniki leaf. Każdy leaf łączy się ze wszystkimi przełącznikami spine (pełna siatka). Każdy serwer łączy się z dwoma przełącznikami leaf (aktywny-aktywny bonding).
• Konfiguracja RoCE: Dedykowany VLAN dla ruchu RoCE. Oznaczanie QoS oparte na DSCP (np. DSCP 46 dla RDMA). PFC włączone dla priorytetu 3.
• Zarządzanie buforem: Skonfiguruj bezstratne bufory nagłówkowe na port w oparciu o czas rundy i odległość łącza.
• Adresowanie: Użyj statycznych przypisań IP lub rezerwacji DHCP dla interfejsów RDMA. Zapewnij ramki jumbo (MTU 9000) end-to-end.

Skalowanie powyżej 200 węzłów: Wprowadź warstwę super-spine i wdróż BGP-EVPN do rozszerzenia warstwy 2 na wiele podów. Zweryfikuj MCX556A-ECAT compatible optykę i kable od kwalifikowanych dostawców (np. Mellanox, FS.com). Podczas oceny MCX556A-ECAT price dla dużych zamówień, rozważ ceny pakietowe z przełącznikami i optyką.

Efektywne działanie sieci opartej na RoCE wymaga proaktywnego monitorowania i specjalistycznych narzędzi:

• Monitorowanie wydajności: Użyj mlxlink i ethtool do statystyk łącza (BER, błędy FEC). Rozwiązanie MCX556A-ECAT Ethernet adapter card solution firmy NVIDIA obejmuje telemetrię za pośrednictwem PCM (Performance Counters Monitor).
• Wykrywanie zatorów: Monitoruj pakiety oznaczone ECN i ramki pauzy PFC za pomocą telemetrii przełącznika (np. Mellanox SNMP MIBs). Wysokie wskaźniki ramek pauzy wskazują na ciśnienie w buforze.
• Zarządzanie oprogramowaniem układowym i sterownikami: Regularnie aktualizuj do najnowszych wersji z NVIDIA OFED. Użyj mstflint do walidacji oprogramowania układowego.
• Typowe rozwiązywanie problemów: W przypadku awarii połączenia RDMA sprawdź spójność MTU, członkostwo w VLAN i mapowania DSCP na CoS. Użyj ibdev2netdev i rdma link show do sprawdzenia stanu urządzenia.
• Wskazówki dotyczące optymalizacji: Dostosuj parametry DCQCN (alpha, beta, timer zwiększania szybkości) w zależności od obciążenia. W przypadku obciążeń związanych z przechowywaniem danych zwiększ głębokość kolejki ukończenia. W przypadku trenowania AI włącz GPUDirect RDMA i przypnij pamięć.

W celu planowania pojemności, zapoznaj się z MCX556A-ECAT datasheet w celu uzyskania specyfikacji termicznych i zasilania (typowe 15W). Karta jest szeroko dostępna w sprzedaży MCX556A-ECAT for sale u autoryzowanych dystrybutorów, w tym programy zapasów zamiennych.

Karta MCX556A-ECAT dostarcza mierzalną wartość w trzech wymiarach: wydajność (do 90% redukcji opóźnień aplikacji, 4-krotny wzrost przepustowości), efektywność (70% odciążenia CPU, niższa moc na Gb/s) i całkowity koszt posiadania (skonsolidowana infrastruktura, zmniejszona liczba serwerów, niższe koszty chłodzenia). Organizacje wdrażające kartę NVIDIA Mellanox MCX556A-ECAT jako część rozwiązania opartego na RoCE mogą oczekiwać zwrotu z inwestycji w ciągu 6-12 miesięcy, w zależności od intensywności obciążenia. Dla centrów danych nowej generacji wykorzystujących AI, HPC lub przechowywanie danych zdefiniowane programowo, ta karta stanowi sprawdzone, skalowalne fundamenty. Aby rozpocząć, poproś o MCX556A-ECAT datasheet i zweryfikuj MCX556A-ECAT compatible konfiguracje z dostawcą przełączników.