Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter w akcji.

Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter w akcji.

W dużym scenariuszu wdrożenia hybrydowego Elastic Bare-Metal i AI inference firmy internetowej,Poziom opóźnienia sieci i koszty CPU stały się krytycznymi barierami dla skalowania wykorzystania GPU i wydajności pamięci masowej.. The infrastructure team needed a solution that could deliver sub-microsecond latency for distributed training jobs while simultaneously supporting high-throughput NVMe-oF storage traffic—all without forcing costly upgrades to the existing cabling infrastructureW niniejszym badaniu przypadkowym analizowano, w jaki sposóbMCX623106AN-CDATNVIDIA Mellanox rozwiązała te wyzwania i przekształciła strukturę sieci w prawdziwy akcelerator obliczeniowy.

Temat i wyzwania: Kiedy NIC 25G osiągnęły swoje granice

Środowisko produkcyjne składało się z ponad 1200 węzłów obliczeniowych podzielonych na dwie strefy dostępności, obsługujących połączenie usług inferencji online, szkolenia sztucznej inteligencji offline i rozproszonego przechowywania obiektów.Istniejące adaptery 25G Ethernet, choć odpowiednie dla podstawowej łączności, zmagały się z równoległymi obciążeniami pracą.

• Wysokie wykorzystanie procesora: Oprogramowanie TCP/IP wykorzystuje do 35% rdzeni CPU w węzłach pamięci masowej podczas szczytowych wybuchów I/O.
• Niespójne opóźnienie: opóźnienie końcowe (p99) dla rozproszonych operacji całkowitego redukcji często przekraczało 50 μs, powodując niewystarczające wykorzystanie procesora graficznego podczas synchronizacji parametrów.
• Wąskie gardło magazynowania: ruch NVMe-oF przez Ethernet z stratami ucierpiał z powodu spadku pakietów, co wywołało retransmisje, które obniżyły skuteczny przepustowość o prawie 40%.

Po przeanalizowaniu wielu alternatyw, w tym własnych InfiniBand i konkurencyjnych NIC 25G, zespół wybrałNVIDIA Mellanox MCX623106AN-CDATUnikalne połączenie akceleracji RoCEv2 opartej na sprzęcie, programowalnej ścieżki danych i szerokiej kompatybilności platform.

Rozwiązanie i podejście do wdrożenia

Strategia wdrożenia koncentrowała się na trzech filarach:Włączenie RDMA/RoCE,aktywacja inteligentnego rozładowania, orazstopniowa migracja floty. Każdy węzeł obliczeniowy otrzymał jedenKarta adaptera MCX623106AN-CDAT Ethernet, zastępując NIC poprzedniej generacji bez zmiany podstawowej infrastruktury miedzi/włókna 25G.

Z punktu widzenia konfiguracji zespół wykorzystałArkusz danych MCX623106AN-CDATdokładnej regulacji następujących parametrów:

• Ustawienie RoCEv2 PFC (Priority Flow Control): Dedykowane klasy ruchu bez strat zostały zdefiniowane dla przechowywania (NVMe-oF) i komunikacji zbiorowej AI, podczas gdy ruch najlepszego wysiłku pozostał w oddzielnych kolejkach z stratami.
• Włączone rozładowanie sprzętu: VXLAN/NVGRE tunelowe obciążenie, segmentacja sumy kontrolnej i LRO (Large Receive Offload) zostały aktywowane w celu zmniejszenia interwencji procesora na pakiet.
• Możliwość programowania gotowej do DPU: Korzystając z ASAP2, zespół wdrożył lekkie zasady przepływu, aby kierować ruch pamięci masowej bezpośrednio do docelowych punktów końcowych NVMe-oF, całkowicie ominując stos sieci jądra.

Zwalczanie zgodności było prosteKompatybilny z MCX623106AN-CDATLista obejmowała wszystkie modele serwerów w flocie (serie Dell PowerEdge R750 i Supermicro Ultra), a istniejące węzły oparte na Red Hat OpenShift i Ubuntu bezproblemowo przyjmowały nowe sterowniki.

Wyniki i wymierne korzyści

Po trzech tygodniach wdrożenia produkcyjnego w 40% floty obliczeniowej, zyski w wydajności były natychmiast widoczne.

Oprócz poprawy ilościowej zespół inżynierów odnotował zmianę jakościową w stabilności eksploatacyjnej.Mechanizmy PFC i ECN (Explicit Congestion Notification) oparte na sprzęcie zapewniły, że ruch w systemie przechowywania pozostaje praktycznie bez strat., eliminując kaskadowe burze retransmisji, które dotychczas wpływały na SLA aplikacji.MCX623106AN-CDAT ConnectX adapter PCIe karta sieciowaobsługiwane szyfrowanie IPSec z częstotliwością linii dla ruchu replikacyjnego między strefami, umożliwiając zespołowi bezpieczeństwa egzekwowanie zasad zerowego zaufania bez wdrażania dedykowanych urządzeń szyfrowania.

Podsumowanie i perspektywa

Wdrożenie to podkreśla, żeMCX623106AN-CDAT rozwiązanie karty adaptera EthernetRoCEv2 nie jest tylko stopniową aktualizacją NIC, jest strategicznym elementem nowoczesnej architektury centrów danych.i kompleksowe możliwości rozładunku, adapter skutecznie przekształca standardową tkankę Ethernet w niskozatrwałą, wydajną warstwę infrastruktury.Organizacja informatyczna planuje teraz rozszerzenie wdrożenia na wszystkie pozostałe węzły i aktywnie oceniaSpecyfikacje MCX623106AN-CDATdla projektów 50G Spine-Leaf nowej generacji.

W przypadku architektów infrastruktury i menedżerów IT, którzy mają podobne pułapy wydajności,MCX623106AN-CDATJak zauważył jeden starszy architekt:"Osiągnęliśmy lepszą opóźnienie niż nasze poprzednie 25G NIC przy połowie kosztów procesora, i nie musieliśmy ponownie połączyć jednego racka".Z tą wielką.Kompatybilny z MCX623106AN-CDATEkosystemu i konkurencyjnościCena MCX623106AN-CDATW tym celu, w oparciu o nowe technologie wykorzystywane w systemie 25G RoCE, wprowadzenie nowych rozwiązań w zakresie pozycjonowania, ten adapter jest dobrze przygotowany, aby stać się domyślnym wyborem dla wdrożeń 25G RoCE, niezależnie od tego, czy obciążeniem jest szkolenie AI, rozproszone przechowywanie lub analityka w czasie rzeczywistym.

/Tags:MCX623106AN-CDATNVIDIA Mellanox ConnectX-6 Dx Rozmieszczenie RDMA/RoCE Sieci o niskim opóźnieniu Optymalizacja przepustowości serwera