NVIDIA Mellanox MCX631102AN-ADAT w akcji: RDMA/RoCE Transport niskiego opóźnienia i optymalizacja przepustowości serwera
July 27, 2026
NVIDIA Mellanox MCX631102AN-ADAT w akcji: RDMA/RoCE Transport niskiego opóźnienia i optymalizacja przepustowości serwera
Temat i wyzwania: wąski gardło w zakresie opóźnienia i przepustowości w rozproszonym magazynie
Średni dostawca usług chmurowych obsługujący rozproszony klaster pamięci masowej Ceph na 120 serwerach x86 zaczął doświadczać rosnących problemów z wydajnością.polegające na TCP/IP do komunikacji między węzłami, walczyła o dotrzymanie kroku rosnącym basenem pamięci masowej opartym na NVMe.średnie opóźnienia odczytu/zapisu przekraczające 3 milisekundy w godzinach szczytu, a także znaczącą lukę między teoretyczną przepustowością dysku a rzeczywistą wydajnością dostarczaną przez sieć.Zespół inżynierów uznał, że osiągnięcie opóźnienia poniżej milisekundy i całkowite wykorzystanie wydajności NVMe wymagało fundamentalnej zmiany podejścia do sieci, wprowadzenie RDMA przez konwergencyjny Ethernet (RoCE).
Rozwiązanie i wdrożenie: Wprowadzenie rozwiązania karty adaptera Ethernet MCX631102AN-ADAT
Po przeanalizowaniu wielu opcji dostawców zespół wybrałNVIDIA Mellanox MCX631102AN-ADATW związku z powyższym Komisja uznaje, że wprowadzenie nowych technologii w sieci jest kluczowe dla ich rozwoju.MCX631102AN-ADAT ConnectX-6 Lx podwójny port 25GbE SFP28Adapter został wybrany ze względu na native wsparcie RoCEv2, sterowanie zatłoczeniami oparte na sprzęcie i płynną integrację z istniejącą infrastrukturą kabli SFP28.
Strategia wdrożenia została podjęta w trzech etapach:
- Faza 1 (Pilot):16 węzłów magazynowania zostało wyposażonychKarta adaptera Ethernet MCX631102AN-ADATAdaptory zostały skonfigurowane w trybie dwu-port aktywny-aktywny, z każdym portem podłączonym do pary przełączników NVIDIA Spectrum w celu redundancji.
- Etap 2 (optymalizacja):RoCEv2 został włączony z priorytetową kontrolą przepływu (PFC) i wyraźnym powiadamianiem o zatłoczeniu (ECN) dostosowanym do zapobiegania upadkom sieci.Zespół wykorzystał silniki obciążenia sprzętowego adaptera do obliczeń NVMe-oF i erasure coding.
- Etap 3 (pełne wdrożenie):Wszystkie 120 węzłów zostało przeniesionych naNVIDIA Mellanox MCX631102AN-ADAT, z Ceph OSD (Object Storage Daemon) stack sieciowy zrekonfigurowany do wykorzystania transportu RDMA.
Zgodnie zArkusz danych MCX631102AN-ADAT, interfejs PCIe 4.0 x8 adaptera zapewnia wystarczającą szerokość pasma do obsługi łącznej przepustowości 50 Gb/s. Zespół zweryfikował, żeSpecyfikacje MCX631102AN-ADATW tym o opóźnieniu poniżej 0,6 mikrosekundy i sterowaniu ruchem opartym na sprzęcie doskonale spełniają rygorystyczne wymagania dotyczące wydajności.Kompatybilny z MCX631102AN-ADATwraz z istniejącą dystrybucją Linux (RHEL 9.2) i sterownikami Mellanox OFED, znacznie upraszczając proces wdrażania.
Wyniki i korzyści: mierzalne zyski w opóźnieniu i przepustowości
Wpływ migracji był natychmiast widoczny w wskaźnikach produkcji.
| Metryczny | Wstępna aktualizacja (10GbE TCP/IP) | Po modernizacji (MCX631102AN-ADAT z RoCE) | Poprawa |
|---|---|---|---|
| Średnia opóźnienie odczytu | 20,8 ms | 00,4 ms | 7x zmniejszenie |
| Średni opóźnienie pisania | 3.2 ms | 00,5 ms | 6.4x redukcja |
| Wykorzystanie procesora węzła (stack sieciowy) | 42% | 11% | 31 pp zwolnione |
| Wynik zbiorczy klastra | 18 Gb/s | 42 Gb/s | 2.3x wzrost |
Oprócz liczb zespół zaobserwował znaczące usprawnienia operacyjne.MCX631102AN-ADATumożliwił płynną migrację wirtualnych maszyn wirtualnych z aplikacjami wrażliwymi na opóźnienie, gdyż jitter sieci spadł do nieistotnych poziomów.Oprogramowanie NVMe-oF oparte na sprzęcie obniżyło opóźnienie dostępu do pamięci masowej o dodatkowe 30%, umożliwiając klasterowi obsługę mieszanych obciążeń roboczych odczytu/zapisu z konsekwentnymi czasami odpowiedzi poniżej milisekundy.Cena MCX631102AN-ADATW tym celu, dostawca wykazał, że jego wydajność wynosiła 2,3 razy więcej niż w poprzednich latach, a możliwość odroczenia zakupów dodatkowych serwerów o co najmniej 18 miesięcy była uzasadniona.MCX631102AN-ADAT na sprzedażOpcje za pośrednictwem partnerów kanałowych oferowane elastyczne zniżki objętościowe dla rozszerzonych wdrożeń.
Ponadto wbudowane w adapter możliwości telemetrii i zarządzania poza pasmemArkusz danych MCX631102AN-ADAT zapewnił głęboką widoczność stanu sieci, umożliwiając proaktywne zarządzanie zatłoczeniami i szybszą analizę przyczyny w trakcie rozwiązywania incydentów.
Podsumowanie i perspektywy: Strategiczna podstawa przyszłych obciążeń pracą
Wdrożenie w świecie rzeczywistym pokazuje, żeNVIDIA Mellanox MCX631102AN-ADATJest to znacznie więcej niż zwykła aktualizacja przepustowości.MCX631102AN-ADAT rozwiązanie karty adaptera Ethernetdla środowisk z możliwością RoCE skutecznie eliminuje sieć jako wąski gardło wydajności, uwalniając pełny potencjał nowoczesnych architektur pamięci masowej NVMe i procesora.Połączenie przepustowości 25GbE z dwoma portami, kompleksowe rozładowania RDMA i szeroka kompatybilność z ekosystemem pozycjonują ten adapter jako strategiczną inwestycję dla każdej organizacji planującej skalowanie rurociągów AI / ML, rozproszonych baz danych,lub hiperkonwergencyjnej infrastruktury.
W przyszłości zespół bada rozszerzone przypadki użycia, w tym integrację NVIDIA DOCA dla programowalnych ścieżek danych i zero-touch provisioning.wzmocnienie przepustowości, i odzyskać zasoby CPU,MCX631102AN-ADATwprowadza nowe kryteria odniesienia dla 25GbE adapterów serwerowych w środowiskach przedsiębiorstw i chmury.