Rozwiązanie techniczne NVIDIA Mellanox MCX653106A-HDAT: Transport i serwer o niskim opóźnieniu oparty na RDMA/RoCE

Niniejsze opracowanie techniczne jest przeznaczone dla architektów sieci, inżynierów ds. przedsprzedaży i menedżerów operacyjnych. Koncentruje się naNVIDIA Mellanox MCX653106A-HDATadaptera serwera i opisuje, jak zbudować infrastrukturę sieciową centrum danych zdolną do transportu RDMA/RoCE w skali mikrosekundowej i bardzo wysokiej przepustowości.

Nowoczesne centra danych stoją przed trzema podstawowymi wyzwaniami: nieprzewidywalnymi opóźnieniami w rozproszonej pamięci masowej, brakiem przepustowości w klastrach szkoleniowych AI oraz nadmiernym zużyciem procesora przez tradycyjne stosy protokołów sieciowych. Konwencjonalne rozwiązania TCP/IP nie są już w stanie sprostać wymaganiom opóźnień w skali mikrosekundowej NVMe-oF, handlu o wysokiej częstotliwości i analiz w czasie rzeczywistym. Branża pilnie potrzebujeRozwiązanie w postaci karty adaptera Ethernet MCX653106A-HDATktóry zapewnia sprzętowo odciążony transport RDMA poprzez standardową infrastrukturę Ethernet, jednocześnie skalując przepustowość serwera do poziomu 200 Gb/s.

W rozwiązaniu tym zastosowano dwuwarstwową architekturę Leaf-Spine CLOS. Wszystkie węzły obliczeniowe i magazynowe są połączone za pośrednictwemNVIDIA Mellanox MCX653106A-HDATdo przełączników ToR 25G/100G. Kluczowe zasady projektowania obejmują:

• Kompleksowa sieć bezstratna z obsługą PFC (Priority Flow Control) i ECN (Explicit Congestion Notification)
• Dedykowane pasy transportowe RDMA dla obciążeń pamięci masowej i HPC
• Oddzielenie płaszczyzny sterowania (standardowy TCP/IP) i płaszczyzny danych (RoCEv2)
• Odciążanie wirtualizacji opartej na sprzęcie (SR-IOV, VXLAN/NVGRE/Geneve)

Na podstawieArkusz danych MCX653106A-HDATadapter zapewnia opóźnienia między portami poniżej 600 ns i obsługuje do 215 milionów pakietów na sekundę, co czyni go idealnym rozwiązaniem zarówno dla ruchu pamięci masowej wschód-zachód, jak i przepływów aplikacji północ-południe.

TheMCX653106A-HDAT Adapter ConnectX Karta sieciowa PCIesłuży jako podstawowy silnik płaszczyzny danych. Do jego podstawowych ról należą:

• Przyspieszenie RDMA/RoCE:Pełne odciążenie sprzętowe RoCEv2, w tym zarządzanie przeciążeniami, obsługa pakietów poza kolejnością i natychmiastowe umieszczanie danych w buforach aplikacji.
• Odciążanie protokołu przechowywania:Natywna obsługa NVMe-oF (zarówno warianty TCP, jak i RoCE), iSER i SRP, eliminująca przetwarzanie docelowe oparte na oprogramowaniu.
• Wirtualizacja i wielodostępność:Do 1000 funkcji wirtualnych (VF) na port, z odciążeniem tunelu nakładkowego, zapewniającym enkapsulację/dekapsulację z szybkością łącza.
• Bezpieczeństwo i telemetria:Wbudowane szyfrowanie IPsec/TLS z szybkością 200 Gb/s oraz sprzętowe śledzenie przepływu (np. śledzenie połączeń, histogramy).

WedługSpecyfikacje MCX653106A-HDATadapter obsługuje interfejsy PCIe 4.0/5.0 x16, eliminując wąskie gardła po stronie hosta nawet przy pełnej szybkości łącza 200GbE.

Zatwierdzona topologia odniesienia składa się z:

• Warstwa obliczeniowa:48 serwerów z dwoma gniazdami, każdy wyposażony w jednoMCX653106A-HDAT(konfiguracja 100GbE z dwoma portami). Porty są połączone jako aktywna-aktywna grupa LAG.
• Warstwa przechowywania:12 serwerów docelowych typu all-flash NVMe-oF, każdy po dwaKarta adaptera Ethernet MCX653106A-HDATjednostki — jedna do dostępu obliczeniowego od frontu, druga do replikacji zaplecza.
• Warstwa sieciowa:Cztery przełączniki 100GbE Spine i osiem przełączników Leaf skonfigurowane z progami DCBX, PFC (klasa 3 dla RoCE) i ECN.

W przypadku skalowania powyżej 200 węzłów architektura obsługuje projekty z wieloma modułami wykorzystujące EVPN-VXLAN z odciążeniem sprzętowym (w pełniKompatybilny z MCX653106A-HDATz przełącznikami głównych dostawców). Oceniając pojemność,Cena MCX653106A-HDATna użyteczny port 100GbE jest o około 40% niższa w porównaniu z porównywalnymi rozwiązaniami Fibre Channel lub InfiniBand.

Efektywne działanie wdrożeń RDMA/RoCE wymaga specjalistycznych narzędzi. Zalecane są następujące praktyki:

Aby rozwiązać problem, przechwyć metadane specyficzne dla RoCEv2 za pomocąrdmatoolIibv_devinfo. Typowe pułapki obejmują błędnie skonfigurowane priorytety PFC (zapewnij spójność na wszystkich urządzeniach sieciowych) i niedopasowane prędkości łączy PCIe (sprawdź za pomocąlspci -vvv).

TheNVIDIA Mellanox MCX653106A-HDAToferuje sprawdzoną, gotową do produkcji platformę do przekształcania standardowych struktur Ethernet w wysokowydajne, bezstratne sieci. Kluczowe oceny wartości obejmują:

• Utajenie:Deterministyczne opóźnienie odczytu NVMe-oF poniżej 10 µs (P99), umożliwiające analizę w czasie rzeczywistym i konwergencję HPC.
• Przepustowość:Szybkość zbliżona do liniowej 200 GbE z zerową utratą pakietów, potwierdzonaSpecyfikacje MCX653106A-HDAT.
• Wydajność procesora:Uwalnia do 30% rdzeni procesora zużywanych wcześniej przez stosy sieci i pamięci masowej.
• Całkowity koszt posiadania:W porównaniu do zastrzeżonych interkonektów,Sprzedam MCX653106A-HDATceny w połączeniu ze standardowym przełączaniem Ethernet zmniejszają trzyletnie koszty operacyjne o szacunkowo 35–50%.

Architekci i liderzy operacyjni mogą bez obaw wdrożyć to rozwiązanie w strukturach sztucznej inteligencji, zdezagregowanej pamięci masowej i systemach finansowych o bardzo małych opóźnieniach. Szczegółowe kroki wdrażania można znaleźć u urzędnikaArkusz danych MCX653106A-HDAToraz biblioteka dokumentacji DOCA firmy NVIDIA.