Rozwiązanie techniczne karty serwerowej NVIDIA Mellanox MCX4121A-ACAT

To rozwiązanie techniczne przeznaczone jest dla architektów sieci, inżynierów przedsprzedażowych i menedżerów operacyjnych.infrastruktury sieciowej centrum danych o dużej przepustowości opartej na technologii RoCE (RDMA over Converged Ethernet) wykorzystującejNVIDIA Mellanox MCX4121A-ACATDokument obejmuje projektowanie architektury, kluczowe technologie, strategie wdrażania i najlepsze praktyki operacyjne.

1. Analiza tła i wymagań projektu

Współczesne centra danych stoją przed trzema podstawowymi wyzwaniami: nadwyżką CPU tradycyjnych stosów TCP/IP, nieprzewidywalnymi problemami z opóźnieniem dla rozproszonych aplikacji,i rosnące koszty szerokości pasma wschód-zachódPonieważ obciążenia pracy zmieniają się w kierunku szkoleń AI, rozproszonych baz danych i tkanin pamięci masowej NVMe-oF, konwencjonalne adaptery 10GbE lub 25GbE bez obciążenia RDMA stają się krytycznymi wąskimi gardłami.Środowisko docelowe, typowe dla średnich i dużych chmur lub centrów danych przedsiębiorstw, wymaga opóźnienia poniżej 3 μs., mniej niż 10% wykorzystania procesora do przetwarzania sieci i łączna przepustowość 50 Gb/s na serwer.Karta adaptera MCX4121A-ACAT Ethernetbezpośrednio odnosi się do tych wymagań.

2Ogólne projektowanie architektury sieci i systemu

Zaproponowana architektura jest oparta na dwuetapowej topologii leaf-spine z bezstratnym transportem Ethernet.

• Warstwa liści:Przełączniki ToR z obsługą DCB (Data Center Bridging) ✓ PFC, ETS i DCBX włączone.
• Warstwa kręgosłupa:Przełączniki bez blokowania zapewniające pełne połączenie siatki między liśćmi.
• Poziom serwera:Każdy węzeł obliczeniowy/przechowujący wyposażony wMCX4121A-ACAT ConnectX-4 Lx podwójny port 25GbE SFP28adapter.
• Protokół transportu:RoCE v2 z obsługą routingu IP, umożliwiające RDMA w granicach warstwy 3.

Architektura ma skalę od 48 do ponad 1000 węzłów przy jednoczesnym utrzymaniu stałej opóźnienia poniżej mikrosekundy.Podwójne porty każdego adaptera można skonfigurować w aktywnym-aktywnym połączeniu do agregacji szerokości pasma lub aktywnym-pasywnym dla wysokiej dostępności.

3. Rola NVIDIA Mellanox MCX4121A-ACAT i kluczowe cechy

W ramach tego rozwiązaniaNVIDIA Mellanox MCX4121A-ACATSłuży jako kluczowy silnik rozładunku sprzętu.Arkusz danych MCX4121A-ACAT, kluczowe cechy umożliwiające:

• Wykorzystanie sprzętu sprzętowego:Kompletne przetwarzanie protokołu RDMA / RoCE w sprzęcie adaptera, eliminując zaangażowanie procesora w ruch danych.
• Dwóchport 25GbE SFP28:Elastyczne wsparcie mediów dla kabli SR, LR i DAC; kompatybilne z 10GbE i 1GbE.
• PCIe 3.0 x8 Host Interface:Dostarcza do 64 Gb/s szerokości pasma dwukierunkowego, bez blokowania prędkości przewodu.
• Przyspieszenie NVMe-oF:Native offload dla przetwarzania poleceń NVMe/TCP i NVMe/RoCE
• Przesyłka przełożenia:Przyspieszenie sprzętowe dla tuneli VXLAN, GENEVE i NVGRE.

W sprawieSpecyfikacje MCX4121A-ACATpotwierdzenie wsparcia do 1 miliona IOPS na port z opóźnieniem poniżej 0,8 μs dla transferów związanych z pamięcią, co czyni go idealnym rozwiązaniem do handlu wysokiej częstotliwości, analizy w czasie rzeczywistym i przechowywania rozłożonego.

4. Zalecenia dotyczące wdrażania i skalowania (z topologią)

Typowe wdrażanie następuje wraz z progresywnym wdrażaniem na poziomie racków.

W celu skalowania poza dwa stoiska, przełączniki kręgosłupa łączą wszystkie przełączniki liści.Kompatybilny z MCX4121A-ACATW celu zapewnienia stabilności PFC i szkolenia łącza, organizacje mogą wybierać testowane przez dostawcę moduły SFP28 z listy kompatybilności NVIDIA.MCX4121A-ACAT na sprzedażpoprzez autoryzowanych dystrybutorów, zCena MCX4121A-ACATzazwyczaj od 400 do 600 dolarów za adapter w zależności od objętości.

5. Monitoring operacji, rozwiązywanie problemów i optymalizacja

Skuteczne wdrożenie RoCE wymaga proaktywnego monitorowania.

• Telemetria:Użyj pakietu sterowników MLNX_OFED firmy NVIDIA z wbudowanymi licznikami RoCE (port_xmit_wait, port_rcv_remote_physical_errors).
• Wykrycie korków:monitorowanie przerw PFC; trwałe wartości inne niż zero wskazują na ciśnienie buforu;
• Ustawienie buforu:Konfiguracja 2-3x BDP (Produkt opóźnienia przepustowego) dla baz buforowych bez strat.
• Pragi ECN/RED:Ustawić prawdopodobieństwo oznakowania na 1% głębokości kolejki w celu zapobiegania zatłoczeniu.

Powszechne scenariusze rozwiązywania problemów: Jeśli wydajność RoCE ulega pogorszeniu, sprawdź, czy konfiguracja DCB jest identyczna we wszystkich przełącznikach i oprogramowaniu stacjonarnym adaptera.Rozwiązanie karty adaptera Ethernet MCX4121A-ACATzawiera narzędzia diagnostyczne (ibdiagnet, mlxlink) do walidacji integralności kabli i stanu łącza.zintegrowanie tych wskaźników z pulsami Prometheus/Grafana z ostrzeżeniami o upuszczeniu ram przerwy lub nadmiernej retransmisji.

6Podsumowanie i ocena wartości

W sprawieNVIDIA Mellanox MCX4121A-ACATdostarcza mierzalną wartość w trzech wymiarach:wydajność(zatrwanie poniżej 2 μs, skuteczna przepustowość 49 Gb/s),wydajność(poniżej 5% wykorzystania procesora w sieci I/O), orazTCODla organizacji budujących centra danych nowej generacji, adapter ten zapewnia sprawdzone w produkcji,wysoce skalowalneRozwiązanie karty adaptera Ethernet MCX4121A-ACATArchitekci sieci są zachęcani do odwoływania się doArkusz danych MCX4121A-ACATdla szczegółowych specyfikacji na poziomie rejestrów i przewodników integracyjnych.