Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter w działaniu

Adapter serwerowy Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT w akcji | Transport o niskim opóźnieniu RDMA/RoCE i optymalizacja przepustowości serwera

W scenariuszu wdrożenia hybrydowego, elastycznego bare-metal i wnioskowania AI w dużej firmie internetowej, opóźnienia sieciowe i narzut na procesor stały się krytycznymi barierami dla skalowania wykorzystania GPU i wydajności pamięci masowej. Zespół ds. infrastruktury potrzebował rozwiązania, które mogłoby zapewnić opóźnienia poniżej mikrosekundy dla rozproszonych zadań szkoleniowych, jednocześnie obsługując ruch pamięci masowej NVMe-oF o wysokiej przepustowości – a wszystko to bez wymuszania kosztownych modernizacji istniejącej infrastruktury okablowania. Niniejsze studium przypadku analizuje, w jaki sposób MCX623106AN-CDAT firmy Mellanox (NVIDIA Mellanox) rozwiązał te wyzwania i przekształcił sieć w prawdziwy akcelerator obliczeniowy.

Tło i wyzwania: Kiedy karty sieciowe 25G osiągnęły swoje granice

Środowisko produkcyjne składało się z ponad 1200 węzłów obliczeniowych podzielonych na dwie strefy dostępności, obsługujących mieszankę usług wnioskowania online, szkolenia AI offline i rozproszonego przechowywania obiektów. Istniejące adaptery Ethernet 25G, choć wystarczające do podstawowej łączności, miały problemy pod obciążeniem współbieżnym. Kluczowe problemy obejmowały:

• Wysokie wykorzystanie procesora: Przetwarzanie stosu TCP/IP oparte na oprogramowaniu pochłaniało do 35% rdzeni procesora na węzłach pamięci masowej podczas szczytowych impulsów I/O.
• Niespójne opóźnienia: Opóźnienia skrajne (p99) dla rozproszonych operacji all-reduce często przekraczały 50 µs, powodując niedostateczne wykorzystanie GPU podczas synchronizacji parametrów.
• Wąskie gardło pamięci masowej: Ruch NVMe-oF przez zawodny Ethernet cierpiał z powodu utraty pakietów, co powodowało retransmisje, które obniżały efektywną przepustowość o prawie 40%.

Po ocenie wielu alternatyw – w tym własnego InfiniBand i konkurencyjnych kart sieciowych 25G – zespół wybrał NVIDIA Mellanox MCX623106AN-CDAT ze względu na jego unikalne połączenie akceleracji RoCEv2 opartej na sprzęcie, programowalnej ścieżki danych i szerokiej kompatybilności platformy.

Rozwiązanie i podejście do wdrożenia

Strategia wdrożenia skupiała się na trzech filarach: włączenie RDMA/RoCE, aktywacja inteligentnych odciążeń i stopniowa migracja floty. Każdy węzeł obliczeniowy otrzymał jedną kartę adaptera Ethernet MCX623106AN-CDAT, zastępując karty sieciowe poprzedniej generacji bez zmiany podstawowej infrastruktury miedzianej/światłowodowej 25G.

Pod względem konfiguracji zespół wykorzystał arkusz danych MCX623106AN-CDAT do dostrojenia następujących parametrów:

• Konfiguracja RoCEv2 PFC (Priority Flow Control): Dedykowane bezstratne klasy ruchu zostały zdefiniowane dla pamięci masowej (NVMe-oF) i komunikacji zbiorowej AI, podczas gdy ruch najlepszego wysiłku pozostał w oddzielnych kolejkach zawodnych.
• Włączone odciążenia sprzętowe: Aktywowano odciążenie tunelu VXLAN/NVGRE, segmentację sumy kontrolnej i LRO (Large Receive Offload), aby zmniejszyć interwencję procesora na pakiet.
• Programowalność gotowa na DPU: Używając ASAP², zespół wdrożył lekkie reguły przepływu, aby kierować ruch pamięci masowej bezpośrednio do punktów końcowych docelowych NVMe-oF, omijając całkowicie stos sieciowy jądra.

Walidacja kompatybilności była prosta – lista kompatybilnych MCX623106AN-CDAT obejmowała wszystkie modele serwerów we flocie (Dell PowerEdge R750 i seria Supermicro Ultra), a istniejące węzły oparte na Red Hat OpenShift i Ubuntu bez problemu przyjęły nowe sterowniki.

Wyniki i mierzalne korzyści

Po trzech tygodniach wdrożenia produkcyjnego na 40% floty obliczeniowej, wzrost wydajności był natychmiast widoczny. Poniższa tabela podsumowuje kluczowe wskaźniki przed i po:

Poza ilościowymi ulepszeniami, zespół inżynierów zgłosił jakościową zmianę w stabilności operacyjnej. Mechanizmy PFC i ECN (Explicit Congestion Notification) oparte na sprzęcie zapewniły, że ruch pamięci masowej pozostał praktycznie bezstratny, eliminując kaskadowe burze retransmisji, które wcześniej wpływały na SLA aplikacji. Ponadto karta sieciowa PCIe adaptera MCX623106AN-CDAT ConnectX obsługiwała szyfrowanie IPSec z prędkością linii dla ruchu replikacji między strefami, umożliwiając zespołowi ds. bezpieczeństwa egzekwowanie polityk zero-trust bez wdrażania dedykowanych urządzeń szyfrujących.

Podsumowanie i perspektywa na przyszłość

To wdrożenie podkreśla, że rozwiązanie adaptera Ethernet MCX623106AN-CDAT to nie tylko przyrostowa modernizacja karty sieciowej – to strategiczny czynnik umożliwiający nowoczesne architektury centrów danych. Łącząc akcelerację RoCEv2 opartą na sprzęcie, elastyczną programowalność i kompleksowe możliwości odciążania, adapter skutecznie przekształca standardową sieć Ethernet w warstwę infrastruktury o niskim opóźnieniu i wysokiej wydajności. Organizacja IT planuje teraz rozszerzyć wdrożenie na wszystkie pozostałe węzły i aktywnie ocenia specyfikacje MCX623106AN-CDAT dla projektów Spine-Leaf nowej generacji 50G.

Dla architektów infrastruktury i menedżerów IT stojących w obliczu podobnych sufitów wydajności, MCX623106AN-CDAT oferuje przekonującą, sprawdzoną ścieżkę. Jak zauważył jeden z głównych architektów: "Osiągnęliśmy lepsze opóźnienia niż nasze poprzednie karty sieciowe 25G przy połowie kosztów procesora i nie musieliśmy ponownie okablowywać ani jednej szafy." Dzięki szerokiemu ekosystemowi kompatybilnych MCX623106AN-CDAT i konkurencyjnemu pozycjonowaniu ceny MCX623106AN-CDAT, ten adapter jest dobrze przygotowany, aby stać się domyślnym wyborem dla wdrożeń 25G RoCE – niezależnie od tego, czy obciążenie obejmuje szkolenie AI, rozproszone przechowywanie danych, czy analizę w czasie rzeczywistym.