NVIDIA Mellanox MCX4121A-ACAT Server Adapter w akcji: Odblokowanie wydajności RDMA/RoCE Low-Latency

NVIDIA Mellanox MCX4121A-ACAT w akcji: Uwalnianie niskich opóźnień RDMA/RoCE i zwiększanie przepustowości serwerów

Model: MCX4121A-ACAT | Marka: NVIDIA Mellanox | Kategoria: Adapter serwerowy 25GbE | Kluczowe możliwości: Niskie opóźnienia transportu RDMA/RoCE i optymalizacja przepustowości serwerów

Tło i wyzwania: Wąskie gardła sieciowe w rozproszonych systemach przechowywania danych i wnioskowaniu AI

Dla zespołu infrastruktury w dużej firmie internetowej, kompleksowa ocena wydajności przeprowadzona na początku 2025 roku ujawniła krytyczne wąskie gardła sieciowe, które po cichu wpływały na operacje. Klaster wnioskowania AI firmy i rozproszone systemy przechowywania danych opierały się na 10GbE Ethernet, który konsekwentnie wykazywał wysokie opóźnienia i nadmierne wykorzystanie procesora podczas faz ładowania modeli i synchronizacji danych. Sytuacja była szczególnie dotkliwa w scenariuszach dostępu do pamięci masowej NVMe-oF, gdzie narzut związany ze zmianą kontekstu i przerwania tradycyjnego stosu TCP/IP poważnie ograniczał wydajność pamięci masowej, ograniczając wykorzystanie GPU do około 65%. Zespół pilnie potrzebował rozwiązania łączności serwerowej o wysokiej przepustowości i niskich opóźnieniach, aby w pełni wykorzystać potencjał swojej pamięci masowej zaplecza i akceleratorów AI.

Po obszernych badaniach zespół skupił się na adapterach Ethernet 25GbE, w szczególności tych obsługujących RDMA (Remote Direct Memory Access) i RoCEv2 (RDMA over Converged Ethernet v2). RoCEv2 obiecywał ominięcie jądra systemu operacyjnego i umożliwienie transferu danych z pominięciem procesora, teoretycznie zapewniając ogromne zmniejszenie opóźnień i narzutu procesora. Jednak osiągnięcie wydajnego transportu RDMA nakłada rygorystyczne wymagania na możliwości odciążania sprzętowego adaptera i mechanizmy kontroli przeciążenia typu end-to-end. Ten kontekst stworzył idealną okazję dla NVIDIA Mellanox MCX4121A-ACAT do wejścia do potoku oceny.

Rozwiązanie i wdrożenie: Budowanie sieci pamięci masowej zoptymalizowanej pod kątem RDMA wokół MCX4121A-ACAT

Po szczegółowym przeglądzie karty katalogowej MCX4121A-ACAT i walidacji jej specyfikacji MCX4121A-ACAT w stosunku do wewnętrznych testów porównawczych, zespół architektoniczny zdecydował się wdrożyć adapter zarówno w węzłach wnioskowania AI, jak i na serwerach front-end pamięci masowej. Konstrukcja MCX4121A-ACAT ConnectX-4 Lx z dwoma portami 25GbE SFP28 umożliwiła każdemu serwerowi połączenie za pomocą dwóch światłowodów z dwoma różnymi przełącznikami w strukturze leaf-spine, zapewniając redundancję połączeń i równoważenie obciążenia.

Strategia wdrożenia obejmowała trzy kluczowe fazy:

• Instalacja sprzętu i walidacja kompatybilności: Zespół najpierw zweryfikował listę kompatybilnych serwerów MCX4121A-ACAT, aby zapewnić bezproblemową integrację z istniejącymi hostami opartymi na x86 i ARM. Każdy adapter został zainstalowany w gnieździe PCIe 3.0 x8, a następnie zainstalowano sterowniki z oficjalnego źródła NVIDIA.
• Konfiguracja sieci Lossless RoCEv2: PFC (Priority Flow Control) i ECN (Explicit Congestion Notification) zostały włączone w infrastrukturze przełączania obsługującej RoCEv2. Protokoły DCBx (Data Center Bridging Exchange) zostały skonfigurowane w celu zapewnienia bezstratnego transportu ruchu RDMA przez Ethernet, zapewniając stabilną podstawę dla karty adaptera Ethernet MCX4121A-ACAT, aby zapewnić pełne możliwości RDMA.
• Optymalizacja stosu protokołów pamięci masowej: Cele NVMe-oF zostały wdrożone na serwerach pamięci masowej, podczas gdy inicjatory NVMe-oF zostały skonfigurowane na serwerach aplikacji. Wykorzystując silniki odciążania sprzętowego adaptera, wszystkie żądania I/O pamięci masowej zostały hermetyzowane jako operacje RDMA, skutecznie omijając jądro stosu sieciowego.

W całym procesie wdrażania NVIDIA Mellanox MCX4121A-ACAT wykazał prawdziwą prostotę plug-and-play, skracając pierwotnie szacowany dwutygodniowy wysiłek integracyjny do zaledwie trzech dni.

Mierzalne wyniki: Znaczące zyski wydajności i uwolnienie zasobów

Po miesiącu działania produkcyjnego zespół udokumentował znaczące usprawnienia w kluczowych wskaźnikach, jasno demonstrując wartość dostarczoną przez MCX4121A-ACAT:

Poza surowymi liczbami wydajności, zespół ocenił ROI, biorąc pod uwagę cenę MCX4121A-ACAT w stosunku do całkowitego kosztu posiadania. Znacząca redukcja użycia procesora pozwoliła na pozostawienie w służbie kilku serwerów, które wcześniej były zaplanowane do modernizacji pojemności, co bezpośrednio zaoszczędziło koszty zakupu sprzętu. Dodatkowo, zmniejszone opóźnienia poprawiły czasy odpowiedzi usług wnioskowania online z 120 ms do 45 ms, zapewniając zauważalnie lepsze wrażenia użytkownika końcowego. Po ocenie MCX4121A-ACAT na sprzedaż i porównaniu stosunku ceny do wydajności, firma doszła do wniosku, że ten adapter stanowi bardzo opłacalne rozwiązanie dostępu 25GbE.

Podsumowanie i perspektywy: Budowanie przyszłościowej infrastruktury o niskich opóźnieniach

Dzięki temu wdrożeniu produkcyjnemu firma internetowa pomyślnie zweryfikowała realną wartość NVIDIA Mellanox MCX4121A-ACAT. Jako kamień węgielny kompleksowego rozwiązania karty adaptera Ethernet MCX4121A-ACAT, adapter nie tylko rozwiązał problemy z wąskimi gardłami sieciowymi w obciążeniach pamięci masowej i AI, ale także znacząco poprawił ogólną wydajność przepustowości serwerów. Ten studium przypadku jasno pokazuje, że w erze 25GbE wybór adaptera z solidnymi możliwościami odciążania RDMA jest decydujący w odblokowaniu potencjału procesora i zmniejszeniu krytycznych dla biznesu opóźnień.

Patrząc w przyszłość, zespół planuje rozszerzyć wdrożenie MCX4121A-ACAT na dodatkowe przypadki użycia, w tym przetwarzanie transakcji online i systemy kontroli ryzyka w czasie rzeczywistym, dalej wykorzystując jego charakterystykę niskich opóźnień dla aplikacji klasy finansowej. Opierając się na tym sukcesie, dział infrastruktury rozpoczął ocenę produktów 100GbE i następnej generacji, ale MCX4121A-ACAT—z jego dojrzałą architekturą ConnectX-4 Lx i szeroką kompatybilnością ekosystemu—będzie nadal służyć jako kluczowy węzeł, zapewniając solidną podstawę dla ciągłej ewolucji centrum danych firmy.