Mellanox (NVIDIA Mellanox) MCX556A-ECAT Server NIC w akcji.

Hiperskalowe centra danych i korporacyjne środowiska chmurowe stoją przed wspólnym wyzwaniem: wraz ze wzrostem liczby rdzeni procesora tradycyjne sieci TCP/IP stają się wąskim gardłem. Narzut protokołu, kopie pamięci i przełączniki kontekstu zużywają znaczne zasoby procesora, ograniczając wydajność aplikacji. W tym studium przypadku zbadano, w jaki sposób zespół ds. infrastruktury usług finansowych rozwiązał te problemy, wdrażającMellanox (NVIDIA Mellanox) MCX556A-ECATserwerową kartę sieciową, osiągając radykalne zmniejszenie opóźnień i wymierną poprawę przepustowości serwera.

Kontekst i wyzwania: gdy liczy się każda mikrosekunda

Zespół ds. infrastruktury zarządzał rozproszonym klastrem baz danych obsługującym analizę ryzyka w czasie rzeczywistym. W przypadku setek serwerów standardowych połączonych za pośrednictwem sieci 25GbE komunikacja między węzłami opierała się na protokole TCP. Wraz ze wzrostem wolumenu transakcji pojawiły się trzy krytyczne problemy: wykorzystanie procesora w węzłach bazy danych przekroczyło 75% z powodu przetwarzania stosu sieciowego; opóźnienie końcowe dla operacji pamięci między węzłami wzrosło do 200 mikrosekund w godzinach szczytu; a firma stanęła w obliczu kosztownego nadmiernego udostępniania zasobów — dodawania kolejnych serwerów tylko po to, aby obsłużyć obciążenie sieci, a nie zapotrzebowanie na moc obliczeniową. Zespół potrzebowałRozwiązanie w postaci karty adaptera Ethernet MCX556A-ECATco mogłoby odciążyć sieć, umożliwiając jednocześnie zdalny bezpośredni dostęp do pamięci (RDMA).

Rozwiązanie i wdrożenie: wdrażanie RoCE z adapterami ConnectX

Po ocenie opcji zespół wybrałNVIDIA Mellanox MCX556A-ECATw oparciu o dwuportową przepustowość 100GbE i natywną obsługę RoCE (RDMA over Converged Ethernet). Wdrażany standardowoMCX556A-ECAT Adapter ConnectX Karta sieciowa PCIekażdy host otrzymał pojedynczy adapter podłączony do montowanego na górze przełącznika obsługującego RoCE z włączoną funkcją PFC (Priority Flow Control) i ECN (Explicit Congestion Notification). Ścieżka migracji była prosta: adapter jestKompatybilny z MCX556A-ECATz istniejącymi gniazdami PCIe 3.0, eliminując modernizację serwera. Konfiguracja obejmowała włączenie RoCE w stosie sterowników i dostosowanie progów buforów zgodnie z opisem w sekcjiArkusz danych MCX556A-ECAT. W ciągu dwóch tygodni w całym klastrze składającym się ze 120 węzłów uruchomiono komunikację opartą na protokole RDMA na potrzeby replikacji baz danych i buforowania w pamięci.

TheKarta adaptera Ethernet MCX556A-ECATodciążone kluczowe operacje: obejście jądra poprzez interfejs API Verbs przestrzeni użytkownika, transport sprzętowy dla zapisów/odczytów RDMA i przenoszenie danych bez kopiowania. To zmieniłoMellanox (NVIDIA Mellanox) MCX556A-ECATdo szkieletu klastra o niskim opóźnieniu, bez zmiany istniejącej logiki aplikacji — jedynie przełączanie z gniazd TCP na bibliotekę libfabric lub UCX, zmianę zarządzaną podczas zwykłego okna konserwacji.

Wyniki i korzyści: Wymierne korzyści w zakresie opóźnień i przepustowości

Wskaźniki po wdrożeniu potwierdziły inwestycję. Korzystanie zSpecyfikacje MCX556A-ECATjako wartość bazową (opóźnienie sprzętowe poniżej mikrosekundy) zespół osiągnął:

Poza liczbami surowymi zespół osiągnął stabilne opóźnienie końcowe poniżej 4 mikrosekund na 99,9 percentylu, co ma kluczowe znaczenie dla obliczeń ryzyka. Zwolnione rdzenie procesora umożliwiły istniejącym serwerom obsługę o 40% więcej wątków aplikacji, odraczając zakup sprzętu. TheDo sprzedania MCX556A-ECATekonomia stała się jasna: jeden adapter na serwer zapewniał zwrot z inwestycji w ciągu sześciu miesięcy wyłącznie dzięki zmniejszonej liczbie węzłów i niższym kosztom zasilania/chłodzenia. Dla poszukującychCena MCX556A-ECATw porównaniu z konkurencyjnymi kartami 100G całkowity koszt posiadania – w tym kompatybilność oprogramowania i stabilność sterowników – przemawiał na korzyść rozwiązania Mellanox.

Zespół również zweryfikowałKompatybilny z MCX556A-ECATstatus z istniejącą macierzą pamięci masowej NVMe, umożliwiając NVMe over Fabrics (NVMe-oF) z RDMA. To skonsolidowana sieć pamięci masowej w tej samej strukturze, upraszczająca okablowanie i porty przełączników. WedługArkusz danych MCX556A-ECATkarta obsługuje do 16 milionów IOPS na port — zapas mocy, który zespół planuje wykorzystać podczas przyszłorocznej modernizacji pamięci masowej.

Podsumowanie i perspektywy: podstawa centrów danych nowej generacji

To wdrożenie pokazuje, żeMCX556A-ECATto nie tylko szybsza karta sieciowa, ale także platforma transformacji architektury. Włączając RDMA/RoCE, organizacje mogą przełamać wąskie gardło protokołu TCP, zmienić przeznaczenie cykli procesora w celu uzyskania obciążeń o wartości dodanej i efektywnie skalować. TheNVIDIA Mellanox MCX556A-ECATudowodnił swoją wartość w finansach wrażliwych na opóźnienia, ale jego korzyści rozciągają się na szkolenia AI, symulacje HPC i rozproszone bazy danych. W przypadku zespołów oceniających aktualizacje 100GMCX556A-ECAT Adapter ConnectX Karta sieciowa PCIestanowi dojrzały, dobrze udokumentowany wybór. Niezależnie od tego, czy skonsultujesz się zSpecyfikacje MCX556A-ECATdo dostrajania wydajności lub wyszukiwaniaDo sprzedania MCX556A-ECATAby zaplanować wdrożenie w całym klastrze, ten adapter spełnia obietnicę prawdziwie bezstratnej sieci Ethernet o niskim opóźnieniu.