NVIDIA Mellanox MCX653105A-HDAT Server Adapter Techniczne rozwiązanie

Ponieważ rozproszone pamięć masowa, zbieżne bazy danych i platformy szkoleniowe AI ewoluują w kierunku sieci 100GbE/200GbE, tradycyjny stos TCP/IP stał się podstawowym wąskim gardłem wydajności.Krytyczne operacje, takie jak replikacja danych i synchronizacja dziennika, są bardzo wrażliwe na opóźnienie, a stack sieci jądra wprowadza dziesiątki mikrosekund opóźnienia i zużywa znaczne zasoby CPU do przetwarzania protokołu, poważnie ograniczając skalowalność przepustowości.Nowoczesne centra danych wymagają rozwiązania sieciowego zapewniającego niemalże pamięć opóźnioną, przepustowość linii i minimalna interwencja procesora.

Rozwiązanie techniczne toNVIDIA Mellanox MCX653105A-HDATadapter serwera, zaprojektowany w celu spełnienia następujących kluczowych wymagań:

• Poziom opóźnienia między węzłami poniżej mikrosekundy dla rozproszonego pamięci masowej i obciążeń roboczych HPC
• Wykorzystanie procesora do przetwarzania sieci poniżej 10% i uwolnienie rdzeni do logiki aplikacji
• Transport bez strat z kontrolą zatłoczenia w celu uniknięcia wzrostu czasu opóźnienia
• Bezproblemowa integracja z istniejącą infrastrukturą Ethernet
• Zwolnienie sprzętu dla NVMe-over-Fabrics (NVMe-oF) i GPUDirect RDMA

Proponowana architektura przyjmuje topologię CLOS (spine-leaf) na dwóch poziomach z RoCE (RDMA over Converged Ethernet) wdrażaną jako podstawowy protokół transportu.Wszystkie serwery obliczeniowe i pamięci masowej są wyposażone wKarta adaptera MCX653105A-HDAT EthernetPFC (Priority Flow Control) i ECN (Explicit Congestion Notification) umożliwiają tworzenie domen Ethernet bez strat dla ruchu RDMA,podczas gdy oddzielne kolejki priorytetowe izolują przechowywanie, HPC i przepływy zarządzania.

Kluczowe decyzje architektoniczne obejmują:

• RoCEv2przez UDP-IP, aby umożliwić routing przez granice warstwy 3
• DCQCN (Data Center Quantized Congestion Notification) - powiadomienie o ograniczeniu przepływu danychdla proaktywnego zarządzania zatłoczeniami
• PCIe podzieloneaby przeznaczyć przepustowość do przechowywania w stosunku do ruchu obliczeniowego na tym samym adapterze
• Wsparcie dla wielu hostówumożliwiające współdzielenie jednego adaptera przez maksymalnie cztery serwery (scenariusze przechowywania podzielonych)

W centrum tego rozwiązania znajduje sięNVIDIA Mellanox MCX653105A-HDAT podwójny port 100GbE ConnectX‐6 Dx  służy jako silnik krytycznego obciążenia.Arkusz danych MCX653105A-HDAT, karta integruje akceleratory sprzętowe, które zasadniczo zmieniają sposób obsługiwania serwerów przez sieć I/O.

W poniższej tabeli podkreślono, w jaki sposób specyficzne cechy spełniają wymagania architektoniczne:

W sprawieKarta sieciowa PCIe MCX653105A-HDAT ConnectX adapterzawiera również zaawansowaną telemetrię. Każdy pakiet zawiera sprzętowe znaczniki czasu i liczniki przepływu, zapewniając widoczność przeciążenia w czasie rzeczywistym bez przesłuchiwania hosta CPU.Dla organizacji zajmujących się zamówieniami,Cena MCX653105A-HDATzapewnia atrakcyjny ROI w porównaniu z alternatywami opartymi wyłącznie na skalowaniu CPU lub FPGA.

W przypadku typowego klastra 200 węzłów zalecamy następujące podejście do wdrożenia:

• Warstwa liści:Komutatory z funkcją RoCE (np. NVIDIA SN3700) z włączonym PFC/ECN, skonfigurowane pod kątem parametrów DCQCN dostosowanych do prędkości wybuchu obciążenia.
• Warstwa kręgosłupa:Przełączniki niezablokowujące o odpowiednim współczynniku nadpłaty (maksymalnie 3: 1 dla ruchu pamięci masowej).
• Po stronie serwera:Jeden.Rozwiązanie karty adaptera MCX653105A-HDAT EthernetW przypadku systemów HPC wykorzystujących wiele procesów obliczeniowych, systemy HPC wykorzystujące wiele procesów obliczeniowych wykorzystują dwa węzły w przypadku klastrów pamięci masowej.
• Bufory i MTU:Konfiguracja ram jumbo o pojemności 9000 bajtów od końca do końca i przydzielenie 10~20% bufora przełącznika dla każdej grupy priorytetowej w celu zapewnienia gwarancji bez strat.

Przy weryfikacji kompatybilności większość głównych platform serwerowych jestKompatybilny z MCX653105A-HDAT w tym Dell PowerEdge, HPE ProLiant, Lenovo ThinkSystem i Supermicro.  Interfejs PCIe 4.0/5.0 x16 adaptera zapewnia przyszłościową przepustowość dla procesorów nowej generacji.

Wdrożenia RoCE w produkcji wymagają proaktywnej widoczności, zalecamy następujące praktyki operacyjne:

• Zbiór telemetrii:Użyj NVIDIAmft(Mellanox Firmware Tools) orazetol -Sdo wywozu liczników w porcie i w kolejce do Prometheus lub podobnych systemów.
• Kluczowe wskaźniki monitorowania:PFC pause frames per second, ECN marked packet rate, RoCE retransmissions i temperatura adaptera.
• Wykrycie korków:Nagły wzrost przerw PFC często sygnalizuje powolny odbiornik; sprawdźSpecyfikacje MCX653105A-HDATdla parametrów regulacji progu bufora.
• Zarządzanie oprogramowaniem:Zaplanuj aktualizacje oprogramowania w oknach konserwacji; adapter obsługuje migrację połączeń RoCE, aby zminimalizować przestoj.
• Lista kontrolna dostrojenia wydajności:Włączyć łączenie IRQ, ustawić odpowiednie rozmiary pierścieni Rx / Tx (zalecane 4096), przerywać przyciski do dedykowanych rdzeni i zweryfikować szerokość łącza PCIe (x16 @ Gen4/5).

W sprawieNVIDIA Mellanox MCX653105A-HDATdostarcza kompletną, gotową do produkcji podstawę dla tkanin o niskiej opóźnieniu na bazie RDMA/RoCE.Poprzez odładowanie całej ścieżki danych – od poleceń przechowywania do wirtualnego przełączania i szyfrowania bezpieczeństwa – przekształca sieć serwerów z wąskiego gardła w akceleratorOrganizacje stosujące to rozwiązanie mogą spodziewać się:

• Determynistyczne opóźnienie poniżej 2 μsprzez setki węzłów
• 5×10x poprawa przepustowościdla NVMe‐oF i HPC
• Zmniejszenie o 80% do 90%w relacjach z siecią
• Skalowalność liniowabez załamania z powodu zatłoczenia

Dla inżynierów oceniających opcje,Arkusz danych MCX653105A-HDATZadapter jest obecnie powszechnie używany w wielu krajach.MCX653105A-HDAT na sprzedażDzięki partnerom NVIDIA, droga do wysokiej wydajności, niskiego opóźnienia płaszczyzny danych jest zarówno jasna, jak i osiągalna.To rozwiązanie techniczne stanowi plan dla każdej organizacji, która chce wykorzystać pełny potencjał sieci 100GbE z RDMA i RoCE.