Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter w działaniu: RDMA/RoCE Low-Latency Transport and Server

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT w akcji: transport RDMA/RoCE o niskim opóźnieniu i optymalizacja przepustowości serwera

Tło i wyzwanie: Wąskie gardła sieciowe w rozproszonych systemach przechowywania danych i trenowaniu AI

W rzeczywistym środowisku produkcyjnym u średniej wielkości dostawcy usług chmurowych, podstawowy portfel biznesowy obejmuje rozproszone blokowe systemy przechowywania danych (Ceph) i platformy do trenowania modeli AI oparte na GPU. Wraz ze wzrostem wolumenu danych klientów w tempie ponad 200% rocznie, starsza architektura sieciowa 10GbE TCP/IP stopniowo ujawniła dwa krytyczne problemy. Po pierwsze, opóźnienie synchronizacji danych między węzłami pamięci masowej osiągnęło do 2,5 ms, uniemożliwiając puli pamięci NVMe osiągnięcie pełnego potencjału wydajności. Po drugie, podczas synchronizacji gradientów w klastrach trenowania GPU, przepustowość sieci mogła osiągnąć tylko 60% teoretycznej przepustowości, ze znaczną częścią zasobów procesora zużywaną przez stos protokołów sieciowych, co poważnie utrudniało efektywność iteracji trenowania. Zespół ds. architektury pilnie potrzebował rozwiązania interfejsu sieciowego zdolnego zarówno do zmniejszenia opóźnień transmisji, jak i znacznego zwiększenia efektywnej przepustowości serwera.

Rozwiązanie i wdrożenie: Przebudowa RoCE z MCX631102AN-ADAT ConnectX-6 Lx

Po ocenie wielu alternatyw, zespół wybrałMellanox (NVIDIA Mellanox) MCX631102AN-ADATjako podstawowy element ich inicjatywy modernizacji sieci. Karta sieciowa EthernetMCX631102AN-ADATzostała wdrożona na 120 węzłach pamięci masowej i 64 węzłach obliczeniowych GPU, zastępując istniejące karty 10GbE. Każdy serwer był wyposażony w dwuportową konfigurację 25GbE SFP28, z jednym portem łączącym się z siecią produkcyjną RoCE, a drugim portem zarezerwowanym dla ruchu zarządzania i kopii zapasowych. Wdrożenie wykorzystało natywne wsparcie RoCE v2 kartyMCX631102AN-ADAT ConnectX-6 Lx dwuportowy 25GbE SFP28, eliminując potrzebę dodatkowych urządzeń bramowych lub warstw tłumaczenia protokołów.

Implementacja przebiegała etapowo. W pierwszym etapie zespół wdrożył rozwiązanie karty sieciowej EthernetMCX631102AN-ADATna węzłach pamięci masowej, umożliwiając NVMe over Fabrics (NVMe-oF) z transportem RoCE. To natychmiast wyeliminowało narzut stosu TCP/IP na ścieżkach I/O pamięci masowej. W drugim etapie zmodernizowano węzły obliczeniowe GPU, a funkcja GPUDirect Storage karty umożliwiła bezpośrednią komunikację pamięci GPU z odległą pamięcią NVMe przez sieć RoCE—całkowicie omijając zaangażowanie procesora. Całe wdrożenie zostało zakończone w ciągu dwóch tygodni, przy zachowaniu istniejącej infrastruktury przełączników 25GbE, co świadczy okompatybilności MCX631102AN-ADATze standardowym sprzętem sieciowym centrum danych.

Zmierzony wyniki i wzrost wydajności

Poprawa wydajności po wdrożeniuNVIDIA Mellanox MCX631102AN-ADATbyła znacząca i natychmiast mierzalna w wielu wymiarach. Poniższa tabela podsumowuje kluczowe wskaźniki przed i po wdrożeniu zaobserwowane w środowisku produkcyjnym:

Poza metrykami ilościowymi, zespół zaobserwował jakościowe poprawy w stabilności operacyjnej. Sprzętowy mechanizm kontroli przeciążenia na karcieMCX631102AN-ADATwyeliminował okresowe spadki przepustowości obserwowane wcześniej podczas zdarzeń ruchu impulsowego, zapewniając przewidywalną wydajność dla zadań trenowania wrażliwych na opóźnienia. Zgodnie zespecyfikacjami MCX631102AN-ADAT, zaawansowany silnik kierowania i możliwości RDMA karty zapewniły, że nawet przy 128 jednoczesnych połączeniach NVMe-oF na port, wydajność liniowa była stale utrzymywana.

Z perspektywy całkowitego kosztu, zespół ds. architektury obliczył, żecena MCX631102AN-ADATza gigabit efektywnej przepustowości była znacznie niższa niż w przypadku modernizacji do alternatyw 40GbE lub 100GbE. Możliwość ponownego wykorzystania istniejącego okablowania SFP28 i infrastruktury przełączników dodatkowo zmniejszyła wydatki kapitałowe, co sprawiło, że ocenaMCX631102AN-ADAT na sprzedażbyła przekonującym uzasadnieniem biznesowym dla kierownictwa dostawcy.

Podsumowanie i perspektywy: Budowanie przyszłościowej podstawy sieciowej

Wdrożenie produkcyjne kartyMellanox (NVIDIA Mellanox) MCX631102AN-ADATdemonstruje jasną ścieżkę naprzód dla organizacji dążących do uwolnienia pełnego potencjału swojej rozproszonej infrastruktury. Łącząc transport RDMA/RoCE o niskim opóźnieniu z odciążeniami akcelerowanymi sprzętowo, karta skutecznie eliminuje sieć jako wąskie gardło wydajności—czy to w przypadku trenowania AI, programowo definiowanych systemów przechowywania danych, czy przetwarzania transakcji o wysokiej częstotliwości. Doświadczenie zespołu potwierdza, że karta sieciowa EthernetMCX631102AN-ADATdostarcza nie tylko poprawy w benchmarkach, ale także wymierne zyski produktywności: czas ukończenia zadań trenowania GPU zmniejszył się średnio o 34%, a SLA dotyczące czasu odpowiedzi klastra pamięci masowej były konsekwentnie spełniane nawet w okresach szczytowego obciążenia.

Patrząc w przyszłość, dostawca planuje skalować wdrożenieMCX631102AN-ADAT ConnectX-6 Lx dwuportowy 25GbE SFP28do dodatkowych stref dostępności, a wczesne oceny są już w toku dotyczące integracji karty z DPU BlueField firmy NVIDIA w celu dalszej programowalności sieci. Dla zespołów inżynierskich oceniających podobne modernizacje, szczegółowakarta katalogowa MCX631102AN-ADATzawiera kompleksowe wskazówki dotyczące macierzy kompatybilności, parametrów strojenia wydajności i architektur referencyjnych. Przypadek ten wzmacnia wyraźny trend branżowy: inteligentne, odciążane sprzętowo karty 25GbE, takie jak MCX631102AN-ADAT, szybko stają się nowym standardem dla projektów centrów danych zorientowanych na wydajność.