NVIDIA Mellanox MCX653106A-HDAT w akcji: osiągnięcie przełomowych osiągnięć w zakresie transportu RDMA/RoCE o niskim opóźnieniu i przepustowości serwera

W nowoczesnych środowiskach centrów danych — obejmujących rozproszoną pamięć masową, handel o wysokiej częstotliwości i klastry szkoleniowe AI — pozostają dwa ciągłe wyzwania: zmniejszenie opóźnień powodowanych przez sieć i maksymalizacja przepustowości serwera bez obciążania procesora. W tej szczegółowej aplikacji analizujemy, w jaki sposób wiodący dostawca infrastruktury chmurowej rozwiązał dokładnie te problemy, wdrażającNVIDIA Mellanox MCX653106A-HDATadaptera serwera pomiędzy węzłami obliczeniowymi i magazynowymi.

Tło i wyzwanie

Istniejąca infrastruktura 25GbE dostawcy, oparta na standardowych adapterach Ethernet ze stosami TCP/IP opartymi na oprogramowaniu, wykazywała wyraźne ograniczenia. W przypadku obciążeń pamięci masowej korzystających z technologii NVMe over Fabrics występowały nieprzewidywalne skoki opóźnień (często przekraczające 50 µs), podczas gdy klastry baz danych ucierpiały z powodu wysokiego wykorzystania procesora — do 35% rdzeni zużywanych przez samo przetwarzanie sieci. Zespół inżynierów potrzebował rozwiązania, które zapewniłoby opóźnienia poniżej 10 µs dla transakcji RDMA i obsługiwało przepustowość 200 GbE bez konieczności całkowitej zmiany architektury.

Po rozważeniu wielu opcji zwrócili się doKarta adaptera Ethernet MCX653106A-HDAT, która obiecała pozbawiony sprzętu sprzęt RoCE (RDMA przez Converged Ethernet) i bezproblemową integrację z istniejącą topologią liścia kręgosłupa opartą na Cumulus Linux.

Rozwiązanie i podejście do wdrożenia

Wdrożenie skupiało się wokółMCX653106A-HDAT Adapter ConnectX Karta sieciowa PCIe, wykorzystując dwuportową konfigurację 100GbE do stworzenia nieblokującej się struktury. Każdy węzeł obliczeniowy otrzymał jeden adapter, natomiast węzły magazynowania zostały wyposażone w dwa w celu zapewnienia nadmiarowości. Kluczowe etapy wdrożenia obejmowały:

• Włączenie RoCEv2 z PFC (Priority Flow Control) i ECN (Explicit Congestion Notification) w celu zapewnienia bezstratnego transportu
• Konfigurowanie SR-IOV w celu przydzielenia funkcji wirtualnych do obciążeń baz danych i pamięci masowej o wysokim priorytecie
• Wdrażam najnowszeKompatybilny z MCX653106A-HDATstos sterowników (NVIDIA DOCA 2.5) dla węzłów Ubuntu 22.04 LTS
• Implementacja sprzętowej akceleracji DPDK dla ścieżek przetwarzania pakietów

Na podstawieArkusz danych MCX653106A-HDATi weryfikacja przed wdrożeniem, zespół przewidywał opóźnienie sprzętowe poniżej 1 µs i do 215 milionów pakietów na sekundę (MPPS) w przypadku transakcji małych pakietów – czyli wskaźniki, które kierowały planowaniem wydajności.

Wyniki i wymierne korzyści

Po czterotygodniowym pilotażu na 50 węzłach produkcyjnych zespół ds. infrastruktury podczas porównania udokumentował następujące ulepszeniaNVIDIA Mellanox MCX653106A-HDATw porównaniu z ich starszymi adapterami:

Oprócz suchych liczb zespół inżynierów zauważył, żeRozwiązanie w postaci karty adaptera Ethernet MCX653106A-HDATwyeliminowano wymagane wcześniej obejścia dostrajania — takie jak hacki związane z łączeniem przerwań i zbyt duże bufory odbiorcze. Odciążenia sprzętowe adaptera dla VXLAN i Geneve uprościły także stos sieci kontenerów, zmniejszając opóźnienia między kapsułami o 40% w środowiskach Kubernetes.

Dla menedżerów IT oceniających koszty,Cena MCX653106A-HDATporównania z porównywalnymi rozwiązaniami 200GbE wykazały o 15–20% niższy całkowity koszt posiadania, biorąc pod uwagę oszczędności rdzenia procesora i zmniejszone wykorzystanie portu przełącznika. Tymczasem,Sprzedam MCX653106A-HDATzapytania od sąsiednich zespołów – obejmujące HPC i analitykę w czasie rzeczywistym – zostały już złożone w ramach kolejnego cyklu zamówień.

Podsumowanie i perspektywy

Wdrożenie to potwierdzaNVIDIA Mellanox MCX653106A-HDATto nie tylko aktualizacja specyfikacji, ale skok funkcjonalny dla środowisk wrażliwych na opóźnienia i ograniczoną przepustowość. Przenosząc przetwarzanie sieciowe z oprogramowania na sprzęt — poprzez odciążanie RoCE, SR-IOV i architekturę gotową do obsługi GPUDirect — organizacje mogą osiągnąć deterministyczne opóźnienia w skali mikrosekund, jednocześnie odzyskując cykle procesora na potrzeby logiki aplikacji.

W miarę jak zespół ds. infrastruktury rozszerza wdrożenie na ponad 500 węzłów, bada także wbudowane w adapterze szyfrowanie wewnętrzne (IPsec/TLS) w celu zapewnienia bezpieczeństwa wielu dzierżawców oraz protokół PTP (IEEE 1588v2) w przypadku obciążeń związanych z usługami finansowymi. Dla inżynierów poszukujących zweryfikowanych konfiguracji,Specyfikacje MCX653106A-HDAToraz projekty referencyjne są dostępne w portalu deweloperskim DOCA firmy NVIDIA. Ten przypadek z życia wzięty wyjaśnia jedną rzecz:MCX653106A-HDAT Adapter ConnectX Karta sieciowa PCIespełnia obietnicę Ethernetu o niskim opóźnieniu i dużej przepustowości dla centrów danych nowej generacji.

Aby uzyskać głębszą ocenę techniczną, skonsultuj się z urzędnikiemArkusz danych MCX653106A-HDATlub skontaktuj się z regionalnym architektem rozwiązań NVIDIA.