Przełom w zakresie transportu niskiego opóźnienia RDMA/RoCE i przepustowości serwera

Szybko rozwijające się laboratorium badawcze AI borykało się ze znanym problemem: ich infrastruktura 100GbE zapewniała przepustowość zgodną z prędkością linii, ale opóźnienie aplikacji pozostawało uporczywie wysokie. Rozproszone zadania szkoleniowe cierpiały z powodu częstych zakłóceń sieciowych, a dostęp do pamięci masowej NVMe-over-Fabrics dodawał nieprzewidywalne opóźnienia. Główna przyczyna? Tradycyjne stosy TCP/IP pochłaniały prawie 30% rdzeni procesora tylko na przetwarzanie pakietów, pozostawiając mniej zasobów obliczeniowych dla rzeczywistych obciążeń. Zespół potrzebował fundamentalnej zmiany – przenoszenia danych bez obciążania procesora hosta. To poszukiwanie doprowadziło ich do oceny karty sieciowej serwera Mellanox (NVIDIA Mellanox) MCX653105A-HDAT.

Laboratorium wdrożyło kartę MCX653105A-HDAT na 24 węzłach obliczeniowych, z których każdy był wyposażony w dwuportową łączność 100GbE. Jako natywna karta sieciowa PCIe MCX653105A-ConnectX adapter PCIe network card, obsługuje ona sprzętowo odciążone RoCE (RDMA over Converged Ethernet), umożliwiając danym omijanie jądra i bezpośrednie przesyłanie między regionami pamięci. Proces konfiguracji był prosty: po zweryfikowaniu serwerów MCX653105A-HDAT compatible (Supermicro i Dell PowerEdge), inżynierowie zainstalowali najnowsze sterowniki MLNX_OFED i włączyli RoCE z kontrolą przeciążenia DCQCN. Karta sieciowa Ethernet MCX653105A-HDAT Ethernet adapter card natychmiast odciążyła przetwarzanie sieciowe od procesora, redukując narzut oprogramowania do bliskiego zera.

W przypadku ruchu związanego z pamięcią masową zespół mapował przestrzenie nazw NVMe bezpośrednio przez RDMA. Karta NVIDIA Mellanox MCX653105A-HDAT obsługiwała ruch danych z opóźnieniem poniżej mikrosekundy, podczas gdy sprzętowe sterowanie zapewniało izolację między przepływami obliczeniowymi i pamięci masowej. Zgodnie z kartą katalogową MCX653105A-HDAT datasheet, adapter obsługuje łączną przepustowość do 200 Gb/s, a w praktyce laboratorium osiągnęło prędkość linii 100 GbE na port bez ani jednego utraconego pakietu pod pełnym obciążeniem.

• 50% redukcja opóźnień typu end-to-end: Testy MPI ping-pong spadły z 2,8 µs (TCP) do 1,4 µs (RoCE).
• Wykorzystanie procesora zmniejszone o 70%: Przetwarzanie stosu sieciowego zostało całkowicie przeniesione do sprzętu, uwalniając rdzenie do szkolenia modeli.
• IOPS pamięci masowej podwojone: NVMe-oF przez RDMA wyeliminowało mostek programowy, obniżając opóźnienie poniżej 10 µs dla dostępu do małych bloków.

Zespół zweryfikował również MCX653105A-HDAT specifications w odniesieniu do swojego środowiska produkcyjnego: interfejs PCIe 4.0 x16, dwuslotowa konstrukcja termiczna i pełne wsparcie dla powiadomień o przeciążeniu RoCE. W celu planowania pojemności przeanalizowali MCX653105A-HDAT price w porównaniu do całkowitego kosztu posiadania – adapter zwrócił się w ciągu trzech miesięcy dzięki zmniejszeniu liczby serwerów i poprawie gęstości obciążeń. Szukając MCX653105A-HDAT for sale u autoryzowanych dystrybutorów, znaleźli wiele opcji konfiguracji (jednoportowe, dwuportowe, z bezpiecznym rozruchem lub bez).

To wdrożenie potwierdza, że NVIDIA Mellanox MCX653105A-HDAT to więcej niż tylko szybka karta sieciowa – to kompletna platforma akceleracji danych. Przenosząc przetwarzanie sieciowe do sprzętu i umożliwiając prawdziwe RDMA/RoCE, organizacje mogą uwolnić się od sieci ograniczonych przez procesor bez kosztownych modernizacji. Niezależnie od tego, czy prowadzisz szkolenia AI, rozproszone bazy danych, czy hiperkonwergentne pamięci masowe, karta sieciowa PCIe MCX653105A-ConnectX adapter PCIe network card zapewnia deterministyczne niskie opóźnienia i maksymalną przepustowość. Dla zespołów planujących odświeżenie swojej infrastruktury, przegląd karty katalogowej MCX653105A-HDAT datasheet i MCX653105A-HDAT specifications jest logicznym pierwszym krokiem. Adapter jest szeroko dostępny w sprzedaży MCX653105A-HDAT for sale u globalnych dystrybutorów, a kompatybilność z wiodącymi platformami serwerowymi zapewnia płynną ścieżkę migracji. Jak podsumował jeden z inżynierów: „Karta sieciowa Ethernet MCX653105A-HDAT Ethernet adapter card zamieniła naszą sieć 100GbE z wąskiego gardła w mnożnik wydajności.”