NVIDIA Mellanox MCX631432AN-ADAB w akcji: RDMA/RoCE Low-Latency Transport and Server Throughput Breakthroughs

Tło i wyzwanie: Ściana skalowalności tradycyjnych stosów TCP/IP

Średniej wielkości dostawca usług w chmurze obsługujący rozproszoną pamięć masową i analitykę w czasie rzeczywistym stanął przed znanym problemem skalowania: ich infrastruktura 10GbE, oparta na tradycyjnym protokole TCP/IP, tonęła w obciążeniu procesora. Każdy serwer obsługujący technologię 25GbE zużywał ponad 30% swoich rdzeni na obsługę przerwań sieciowych i kopiowania danych. To pozostawiło niewystarczającą rezerwę dla obciążeń aplikacji, zwłaszcza podczas gwałtownych wzrostów ruchu ze wschodu na zachód w klastrach Redis i zapleczach pamięci masowej Ceph. Zespół potrzebował warstwy dostępu o małych opóźnieniach i dużej przepustowości, która mogłaby zachować zasoby procesora na potrzeby logiki biznesowej — bez konieczności pełnej modernizacji całej struktury przełączającej za pomocą wózka widłowego.

Rozwiązanie i wdrożenie: wykorzystanie RoCE w modelu MCX631432AN-ADAB

Dostawca wybrałKarta graficzna (NVIDIA Mellanox) MCX631432AN-ADABadapter serwerowy jako kamień węgielny modernizacji ich sieci. TheMCX631432AN-ADAB Dwuportowy moduł ConnectX-6 Lx 25GbE SFP28konstrukcja umożliwiła bezpośrednie łącze 25GbE z każdego węzła obliczeniowego do istniejących przełączników ToR obsługujących RoCE. Wdrożenie przebiegało etapowo: najpierw w węzłach magazynowania z systemem Ceph, a następnie w węzłach obliczeniowych obsługujących maszyny wirtualne KVM i narzędzia analityczne Spark. Co najważniejsze,MCX631432AN-ADAB Karta adaptera Ethernetobsługiwana automatyczna kontrola przeciążenia RoCE (DCQCN), eliminująca potrzebę skomplikowanego dostrajania PFC. Zespół wykorzystałKarta katalogowa MCX631432AN-ADABw celu sprawdzenia przepustowości PCIe 4.0 x8 i możliwości odciążenia sprzętu przed pilotażowym uruchomieniem 50 węzłów w fazie produkcyjnej.

Wzrost wydajności: zwiększenie transportu i przepustowości RDMA

Po przejściu naNVIDIA Mellanox MCX631432AN-ADABdzięki RoCE v2 wyniki były natychmiastowe. Opóźnienie przechowywania w przypadku losowych zapisów 4K spadło z 1,2 ms do 280 µs, co oznacza redukcję o ponad 75%. W przypadku klastrów Redis Sharded opóźnienie P99 spadło poniżej 200 µs, umożliwiając działanie silników rekomendujących w czasie rzeczywistym, które wcześniej wymagały warstw buforowania. Po stronie przepustowości, każdyMCX631432AN-ADABstałą przepustowość łącza 25 GbE na port, zużywając mniej niż 5% procesora na przetwarzanie sieci, uwalniając 25–30% mocy rdzenia z powrotem do aplikacji. Poniższa tabela podsumowuje najważniejsze wskaźniki przed/po pilotażowej produkcji:

Poza wydajnością: zgodność, koszt i ekosystem

Dla menedżerów IT oceniającychCena MCX631432AN-ADAB, całkowity koszt posiadania okazał się przekonujący. Dzięki ponownemu wykorzystaniu istniejącej optyki 25GbE SFP28 i zachowaniu kompatybilności wstecznej z portami 10GbE podczas przejścia, dostawca uniknął kosztów ponownego okablowania optycznego. Szeroka obsługa sterowników karty w systemach Ubuntu, Rocky Linux i VMware ESXi oznaczała zerową refaktoryzację aplikacji. Podczas wyszukiwaniaSprzedam MCX631432AN-ADABdzięki autoryzowanym dystrybutorom ceny hurtowe dodatkowo obniżyły koszty na port w porównaniu z konkurencyjnymi ofertami 25GbE. Dodatkowo,Kompatybilny z MCX631432AN-ADABekosystem obejmuje wszystkie główne marki serwerów (Dell, HPE, Lenovo, Supermicro), usprawniając zaopatrzenie w heterogenicznych centrach danych.

Od pilotażu do produkcji: kompletne rozwiązanie w postaci karty adaptera Ethernet

Po trzech miesiącach produkcji obejmującej 450 serwerów dostawca usług w chmurze ujednolicił standardMCX631432AN-ADAB Rozwiązanie w postaci karty adaptera Ethernetdla wszystkich nowych węzłów obliczeniowych i magazynowych. Połączenie niskich opóźnień opartych na RoCE, odciążania sprzętu i gęstości dwuportowej 25GbE odblokowało nowe możliwości w zakresie obciążeń, w tym wykrywanie oszustw w czasie rzeczywistym i NVMe/TCP z RDMA. W przypadku architektów odwołujących się do oficjalnej dokumentacji plikSpecyfikacje MCX631432AN-ADABujawnij dodatkowe funkcje, takie jak Secure Boot, telemetria SPIFFY i sterowanie pakietami FlexFlow, które zapewniają przyszłościową inwestycję w wnioskowanie AI i nakładki mikrousług.

Podsumowanie i perspektywy: nowa podstawa dostępu do serwera

TheNVIDIA Mellanox MCX631432AN-ADABudowodniło, że dobrze wykonana sieć 25GbE RoCE może zapewnić zarówno niskie opóźnienia, jak i wysoką przepustowość bez podatku od procesora. Organizacjom, które wciąż borykają się z wąskimi gardłami protokołu TCP/IP w pamięci masowej, bazach danych lub strukturach rozproszonych, ten adapter zapewnia przejrzystą ścieżkę migracji. Jak zauważył główny architekt dostawcy: „Nie myślimy już o narzutach sieciowych — tzwMCX631432AN-ADABpo prostu działa, oddając nam rdzenie i redukując opóźnienia końcowe o rząd wielkości.” Dzięki dojrzałym stosom sterowników, konkurencyjnym cenom i bezproblemowej kompatybilności, MCX631432AN-ADAB wyznacza nowy standard wydajności na wat dla sieci serwerów 25GbE.