NVIDIA Mellanox MCX631432AN-ADAB Server Adapter w akcji.

NVIDIA Mellanox MCX631432AN-ADAB w akcji | Niskie opóźnienia RDMA/RoCE i wzrost przepustowości serwera

Tło i wyzwanie: Wąskie gardło opóźnień w rozproszonych systemach przechowywania danych

Zespół infrastruktury w dużej firmie internetowej napotkał ostatnio znajome wyzwanie: ich rozproszona klastrowa pamięć masowa, zbudowana na backendzie Ceph, miała trudności z nadążeniem za rosnącymi wymaganiami aplikacji. Chociaż węzły pamięci masowej były wyposażone w potężne procesory i szybkie dyski NVMe, opóźnienia sieciowe stały się głównym wąskim gardłem – zwłaszcza podczas szczytowych operacji I/O. Istniejące adaptery 10GbE brakowało możliwości odciążania sprzętowego, co powodowało nadmierną interwencję procesora dla każdego przetwarzanego pakietu.

Ten narzut był najbardziej widoczny w obciążeniach intensywnie zapisujących dane, gdzie każda operacja I/O wymagała wielu podróży sieciowych. Zespół potrzebował rozwiązania, które mogłoby drastycznie zmniejszyć opóźnienia końcowe, jednocześnie zwiększając ogólną przepustowość serwera, bez konieczności całkowitej przebudowy istniejącej infrastruktury Ethernet. Po ocenie wielu opcji, zwrócili się doNVIDIA Mellanox MCX631432AN-ADAB– dwuportowy adapter 25GbE SFP28 przeznaczony do wdrożeń RDMA over Converged Ethernet (RoCE).

Rozwiązanie i wdrożenie: Wdrożenie RoCE z ConnectX-6 Lx

Wdrożenie skierowano na trzy węzły pamięci masowej pełniące rolę serwerów metadanych w klastrze Ceph, gdzie wrażliwość na opóźnienia jest najwyższa. Każdy węzeł został wyposażony wMCX631432AN-ADAB ConnectX-6 Lx dwuportowy 25GbE SFP28adapter, podłączony do przełącznika 25GbE top-of-rack z obsługą RoCEv2. Zespół skonfigurował oba porty w trybie aktywnego-aktywnego agregacji, agregując do 50 Gb/s całkowitej przepustowości, zapewniając jednocześnie redundancję przełączania awaryjnego.

Kluczowym aspektem wdrożenia było włączenie RoCEv2 z Priority Flow Control (PFC) i Explicit Congestion Notification (ECN) w celu zapewnienia bezstratnego działania sieci. Karta sieciowaMCX631432AN-ADABnatywnie obsługuje te zaawansowane mechanizmy zarządzania zatorami, eliminując potrzebę stosowania własnych przełączników lub dodatkowych licencji. Zespół wykorzystał również wbudowane znaczniki czasu sprzętowe i liczniki telemetryczne adaptera do monitorowania stanu sieci w czasie rzeczywistym podczas początkowej fazy wypalania.

Zgodnie zMCX631432AN-ADAB datasheetadapter obsługuje PCIe Gen 4.0 x8, co okazało się kluczowe dla pełnego nasycenia dwuportowych połączeń 25GbE bez wąskiego gardła magistrali hosta. Istniejące serwery były już zdolne do obsługi Gen 4.0, co ułatwiło modernizację. W środowiskach nadal korzystających z PCIe Gen 3.0 adapter pozostaje w pełniMCX631432AN-ADAB compatiblez kompatybilnością wsteczną – elastyczność, która uprościła plan wdrożenia etapowego.

Proces wdrożenia został znacząco usprawniony. Dzięki stosowi sterowników sieciowych NVIDIA adaptery zostały natychmiast rozpoznane w środowisku CentOS 8. Zespół wykorzystał oficjalneMCX631432AN-ADAB specificationsdo precyzyjnego dostrojenia alokacji buforów i ustawień agregacji przerwań, dostosowując zachowanie adaptera do ich specyficznych wzorców obciążenia.

Wyniki i mierzalne korzyści

Wzrost wydajności był natychmiastowy i mierzalny. Poniższa tabela porównuje kluczowe wskaźniki przed i po wdrożeniuNVIDIA Mellanox MCX631432AN-ADAB:

Poza liczbami, zespół zaobserwował poprawę spójności czasów odpowiedzi I/O, eliminując efekt „hałaśliwego sąsiada”, który wcześniej wpływał na aplikacje dzierżawców współdzielących backend pamięci masowej. Odciążenia sprzętowe zapewniane przez rozwiązanie karty sieciowejMCX631432AN-ADABtak znacząco zmniejszyły narzut procesora, że węzły mogły obsłużyć około 60% więcej IOPS przed osiągnięciem nasycenia procesora, skutecznie opóźniając zaplanowany cykl odświeżania sprzętu.

Dla zespołu operacji sieciowych, wbudowana telemetria adaptera i możliwość dostępu do liczników wydajności w czasie rzeczywistym za pośrednictwemMCX631432AN-ADAB specificationsznacznie ułatwiły rozwiązywanie problemów i planowanie pojemności. Zespół mógł identyfikować mikrowybuchy i problemy z głębokością kolejki, zanim wpłynęły na obciążenia produkcyjne.

Podsumowanie i perspektywy: Fundament dla przyszłej skali

To wdrożenie potwierdziło, żeNVIDIA Mellanox MCX631432AN-ADABjest nie tylko ulepszeniem przyrostowym, ale transformacyjnym elementem dla wrażliwych na opóźnienia systemów rozproszonych. Uwalniając pełny potencjał RoCE, adapter zapewnił znaczną redukcję zarówno średnich, jak i końcowych opóźnień, jednocześnie zwiększając zagregowaną przepustowość serwera o prawie 6 razy. Zwolnione cykle procesora są teraz ponownie przydzielane do przetwarzania na poziomie aplikacji, co dodatkowo zwiększa ogólną wydajność klastra.

Patrząc w przyszłość, zespół bada dodatkowe przypadki użycia adapterów, w tym NVMe over Fabrics (NVMe-oF) dla wysokowydajnej pamięci blokowej i potencjalnie GPUDirect dla obciążeń szkoleniowych AI. Elastyczność architektury ConnectX-6 Lx zapewnia, że ten sam sprzętMCX631432AN-ADABmoże obsługiwać te ewoluujące wymagania bez wymiany. Dla organizacji oceniających podobną ścieżkę modernizacji,MCX631432AN-ADAB price, w porównaniu z oszczędnościami operacyjnymi i wzrostem wydajności, stanowi przekonujący argument biznesowy.

Doświadczenie zespołu podkreśla szerszy trend: w miarę jak centra danych coraz częściej przyjmują sieci 25GbE i wyższe, wybór adaptera serwerowego staje się kluczową decyzją architektoniczną. Karta sieciowaMCX631432AN-ADABoferuje sprawdzone, gotowe do produkcji rozwiązanie dla tych, którzy chcą zniwelować przepaść między istniejącą infrastrukturą a wymaganiami wydajnościowymi nowej generacji.