Rozwiązanie techniczne karty serwerowej NVIDIA Mellanox MCX4121A-ACAT

Rozwiązanie to jest przeznaczone dla architektów sieci, inżynierów przedsprzedażowych i kierowników operacyjnych.NVIDIA Mellanox MCX4121A-ACATadapter serwera umożliwia transport o niskiej opóźnieniu oparty na RDMA / RoCE i znacznie poprawia przepustowość serwera w nowoczesnych środowiskach centrów danych.

1. Analiza tła i wymagań projektu

Tradycyjne sieci TCP/IP narzucają podstawowe ograniczenia dla obciążeń pracy wrażliwych na wydajność, takich jak rozproszone bazy danych, pamięć NVMe-oF i analityka w czasie rzeczywistym.Główne problemy obejmują wysokie koszty CPU z przetwarzania stosów sieciowych, nieprzewidywalne opóźnienie ze względu na retransmisje pakietów i nieefektywne kopiowanie pamięci między obszarami jądra i aplikacji.

Aby sprostać tym wyzwaniom, nowoczesne centra danych wymagają rozwiązania sieciowego zapewniającego:

• Poziom opóźnienia od końca do końca poniżej 10 mikrosekund dla przechowywania danych i ruchu HPC
• Ominęcie jądra i bezpośredni dostęp do pamięci w celu zmniejszenia obciążenia procesora
• Tkanina Ethernet bez strat obsługująca 25 GbE na port
• Bezproblemowa integracja z istniejącą infrastrukturą Ethernet

W sprawieMCX4121A-ACATRoCE bezpośrednio spełnia te wymagania przy zachowaniu zgodności ze standardowymi ekosystemami przełączania.

2Ogólne projektowanie architektury sieci i systemu

Proponowana architektura przyjmuje topologię leaf-spine z bezstratnym Ethernetem w warstwach dostępu 25GbE. Każdy serwer obliczeniowy lub pamięci masowej jest wyposażony w jeden lub dwaKarty adapterów MCX4121A-ACAT Ethernet, podłącza się do przełączników liści poprzez kable SFP28 DAC lub nadajniki optyczne.Przełączniki leaf obsługują protokoły Data Center Bridging (DCB), w tym Priority Flow Control (PFC) i Enhanced Transmission Selection (ETS), które są niezbędne dla ruchu RoCE.

W przypadku konstrukcji o wysokiej dostępności adaptery z dwoma portami umożliwiają aktywne połączenie aktywne lub konfiguracje failover.zapewnienie niezablokowanej szerokości pasma dla ruchu ze wschodu na zachódKluczem do tego projektu jest oddzielenie ruchu przechowywania RoCE od zwykłego ruchu zarządzania TCP/IP przy użyciu VLAN i klas QoS.

3. Rola NVIDIA Mellanox MCX4121A-ACAT i kluczowe cechy

W sprawieNVIDIA Mellanox MCX4121A-ACATsłuży jako krytyczny komponent końcowy umożliwiający RDMA przez Converged Ethernet.ten dwustronny adapter 25GbE SFP28 zapewnia następujące możliwości przyspieszenia sprzętu::

• RoCE Hardware Offload:Kompletne przetwarzanie transportu RDMA w krzemu, eliminując koszty oprogramowania
• Zastosowanie tagów i odzyskiwanie dzwonków:Niezawodne zarządzanie połączeniami przy pomocy sprzętu
• Wirtualizacja SR-IOV:Do 256 wirtualnych funkcji na port dla gęstości kontenera i VM
• GPUDirect RDMA:Bezpośredni dostęp do pamięci GPU dla klastrów szkoleniowych AI/ML
• Powieszanie sieci:Kapsuła sprzętowa/dekapsuła dla VXLAN, NVGRE i Geneve

W sprawieMCX4121A-ACAT ConnectX-4 Lx podwójny port 25GbE SFP28Adapter obsługuje również zaawansowane funkcje, w tym adaptive routing, kontrolę zatłoczenia i burst buffer offloads.Arkusz danych MCX4121A-ACATzapewnia kompleksowe specyfikacje elektryczne, termiczne i mechaniczne.

4. Zalecenia dotyczące wdrażania i skalowania (przykłady topologii)

Typowa topologia 25GbE RoCE Fabric dla 100+ węzłów:

• Poziom dostępu:48-port 25GbE leaf switches z obsługą DCB
• Warstwa kręgosłupa32-porty 100GbE spine switches
• Adapter serwera: MCX4121A-ACAT(podwójny port) w gnieździe PCIe 3.0 x8
• Kablówka:SFP28 pasywny DAC dla wewnętrznych stożek (≤ 5 m), aktywny optyczny dla stożek poprzecznych

Kroki wdrożenia:

• Sprawdź ustawienia serwera BIOS (bifurkacja PCIe, włączone SR-IOV, ponad dekodowanie 4G)
• ZainstalowaćNVIDIA Mellanox MCX4121A-ACAToprogramowanie naprawcze za pośrednictwem narzędzi mlxup lub MST
• Konfiguracja portów przełącznika: priorytet PFC 3-5, alokacja przepustowości ETS, DSCP zaufania
• Włączyć RoCE na hostach: ustawić tryb RoCE na v2 (przyjazny do routingu), skonfigurować prefiks GID
• Zweryfikuj zachowanie bez strat przy użyciu monitoringu ibdiagnet i cqounter

W celu skalowania do 500+ węzłów należy rozważyć wdrożenie oddzielnej tkanki magazynowej RoCE w celu izolowania ruchu magazynowego od komunikacji produkcji wschód-zachód.Kompatybilny z MCX4121A-ACATSystem obejmuje wszystkich głównych producentów serwerów OEM i dostawców przełączników, zapewniając płynną skalowalność.

5. Operacje, monitorowanie, rozwiązywanie problemów i optymalizacja

Kluczowe wskaźniki monitorowania:

• Utrata pakietu RoCE (wskazuje problemy z konfiguracją PFC)
• Głębokość kolejki wysyłania/odbierania RDMA
• Błędy w porcie, CRC i przemiany połączeń
• Wykorzystanie procesora na rdzeń (mierzyć skuteczność obejścia rdzenia)

Podstawowe narzędzia:

• mellanox_perf ?? pomiar szerokości pasma/zatrwania na poziomie adaptera
• iBdiagnet RoCE Validacja tkanin i diagnostyka kabli
• ettool -S ?? statystyki w kolejce i liczniki rozładunku
• syslog/dmesg ?? śledzenie zdarzeń sterowników i oprogramowania układowego

Wytyczne dotyczące optymalizacji:

• Ustawić NRPE (network receive pacing enabled) w celu zapewnienia równości wielostronnej
• Dostosowanie kolescencji przerwy (moderacja) w zależności od rodzaju obciążenia
• W przypadku obciążeń pamięci masowej, połączyć zakończenia RDMA z dedykowanymi rdzeniami procesora
• UżycieSpecyfikacje MCX4121A-ACATdo walidacji limitów cieplnych w warunkach trwałego obciążenia linii

Kiedy budżet i źródła są istotne, sprawdźCena MCX4121A-ACATtendencje iMCX4121A-ACAT na sprzedażZbieranie ilościowe zwykle obniża koszt jednostkowy, zapewniając jednocześnie prawdziwe wsparcie oprogramowania układowego.

6Podsumowanie i ocena wartości

W sprawieRozwiązanie karty adaptera Ethernet MCX4121A-ACATprzynosi wymierne korzyści w wielu wymiarach:

Oprócz surowej wydajności, rozwiązanie to zmniejsza koszty całkowitej eksploatacji poprzez konsolidację sieci pamięci masowej i danych na jedną, bez strat tkankę Ethernet.MCX4121A-ACATumożliwia organizacjom zachowanie istniejących inwestycji w przełączniki, jednocześnie odblokowując możliwości RDMA wcześniej zarezerwowane dla InfiniBand.ten adapter zapewnia sprawdzone, skalowalna ścieżka do sieci serwerów o niskim opóźnieniu i wysokiej przepustowości.