NVIDIA Mellanox MCX631432AN-ADAB Server Adapter w akcji: transport RDMA/RoCE o niskim opóźnieniu i wzrost przepustowości serwera

W nowoczesnych środowiskach centrów danych rozproszona pamięć masowa, klastry szkoleniowe AI i platformy transakcyjne o wysokiej częstotliwości mają wspólne wąskie gardło: opóźnienia w sieci i obciążenie procesora spowodowane przez tradycyjne stosy TCP/IP. W przypadku średniej wielkości dostawcy usług w chmurze zmagającego się z niestabilną wydajnością pamięci masowej i przeciążonymi łączami dostępowymi 25 GbE, poszukiwanie rozwiązania faktycznie odciążającego sprzęt doprowadziło go doNVIDIA Mellanox MCX631432AN-ADAB. W tym studium przypadku aplikacji zbadano, w jaki sposóbMCX631432AN-ADAB Karta adaptera Ethernetprzekształciła swoją infrastrukturę z nieprzewidywalności związanej z procesorem na działanie z szybkością łącza i niskimi opóźnieniami.

Tło i wyzwanie: koszt konwencjonalnej sieci

Starsze środowisko dostawcy opierało się na standardowych kartach sieciowych 25GbE z programowymi funkcjami iSCSI i NFS. Wraz ze wzrostem gęstości maszyn wirtualnych rosło wykorzystanie procesora w węzłach magazynowania — często przekraczające 60% wyłącznie w przypadku przetwarzania sieciowego. Skoki opóźnień podczas okien tworzenia kopii zapasowych i migracji na żywo powodowały przekroczenie limitu czasu aplikacji. Architekci potrzebowali dwuportowego rozwiązania 25GbE, które mogłoby odciążyć transport, zapewnić bezpieczeństwo sprzętu i obsługiwać RDMA bez konieczności przepisywania aplikacji. Po zapoznaniu się zKarta katalogowa MCX631432AN-ADABi na podstawie wczesnych opinii społeczności, wybraliMCX631432AN-ADAB Dwuportowy moduł ConnectX-6 Lx 25GbE SFP28projekt jako podstawę remontu sieci.

Rozwiązanie i wdrożenie: Włączanie RoCE do przechowywania i obliczeń

Wdrożenie zastąpiło istniejące karty sieciowe w 120 węzłach obliczeniowych i 15 serwerach pamięci masowejMCX631432AN-ADABadaptery. Każdy adapter został skonfigurowany pod kątem RoCE (RDMA przez konwergentny Ethernet) przy użyciu ECN i PFC na istniejących przełącznikach typu Spine-Leaf. Kluczowe kroki obejmowały:

• Umożliwianie zaufanego sprzętowo rozruchu i wbudowanego odciążania protokołu IPsec na wszystkich kartach w celu spełnienia wymagań zgodności.
• Migracja ruchu pamięci masowej z iSCSI do NVMe przez Fabrics (NVMe-oF) z transportem RoCE, w pełni obsługiwana przezMCX631432AN-ADAB Rozwiązanie w postaci karty adaptera Ethernetstos.
• Wdrażanie telemetrii opartej na systemie Linux Cumulus firmy NVIDIA w celu monitorowania wydajności RoECE na każdym porcie i powiadomień o przeciążeniach.

Zdaniem urzędnikaSpecyfikacje MCX631432AN-ADABadapter zapewnia opóźnienia sprzętowe poniżej 800 ns i obsługuje przepustowość dwukierunkową do 200 Gb/s w połączeniu z hostami PCIe 4.0. W praktyce zespół inżynierów zmierzył stałe opóźnienie na poziomie aplikacji wynoszące 1,5 µs dla odczytów NVMe-oF, co stanowi 14-krotną poprawę w porównaniu z poprzednią ścieżką programową iSCSI. Wykorzystanie procesora na serwerach pamięci masowej spadło z 58% do zaledwie 11% podczas szczytowych testów IOPS dzięki pełnemu odciążeniu protokołu i dynamicznemu moderowaniu przerwań.

Wymierne rezultaty i korzyści biznesowe

Po czterech tygodniach działania produkcyjnego dostawca odnotował trzy główne korzyści:

• Wzrost przepustowości:Każdy węzeł magazynowania obsługuje teraz oba porty 25 GbE (łącznie 49,5 Gb/s), utrzymując fluktuacje poniżej mikrosekundy w porównaniu z poprzednią efektywną przepustowością 18 Gb/s.
• Spójność opóźnień:Opóźnienie zapisu na poziomie 99. percentyla dla rozproszonych baz danych spadło z 780 µs do 94 µs, eliminując przekroczenia limitu czasu podczas równoważenia klastra.
• Prostota obsługi:Jeden zestaw sterowników zarządza zarówno kartami obliczeniowymi, jak i pamięciami masowymi; theKompatybilny z MCX631432AN-ADABekosystem obejmuje wszystkie główne dystrybucje Linuksa, umożliwiając aktualizacje jądra bez przestojów.

Ponadto zespół oceniłCena MCX631432AN-ADABw stosunku do całkowitego kosztu posiadania i odkrył, że sprzętowy root-of-trust i odciążanie RoCE eliminują potrzebę stosowania oddzielnych urządzeń szyfrujących i dedykowanych kart RNIC, co skutkuje o 33% niższym TCO w ciągu trzech lat. Dla organizacji rozważających ekspansję,Sprzedam MCX631432AN-ADABza pośrednictwem głównych dystrybutorów oferuje obecnie ceny hurtowe, dzięki czemu modernizacje na dużą skalę są opłacalne finansowo.

Podsumowanie i perspektywy

TheNVIDIA Mellanox MCX631432AN-ADABokazał się czymś więcej niż prostym interfejsem sieciowym — stał się podstawą prawdziwie konwergentnej sieci szkieletowej o niskim opóźnieniu. Przenosząc przetwarzanie transportu z procesora na procesor, dostawca uwolnił pełny potencjał swojej pamięci masowej NVMe i zmniejszył zużycie energii na serwer średnio o 18 W. Ponieważ centra danych w dalszym ciągu wykorzystują zdezagregowaną pamięć masową i wnioskowanie AI w czasie rzeczywistym,MCX631432AN-ADAB Dwuportowy moduł ConnectX-6 Lx 25GbE SFP28Adapter oferuje dojrzałą, dobrze udokumentowaną i szeroko wdrożoną ścieżkę do sukcesu RDMA/RoCE. Architekci IT poszukujący powtarzalnego wzrostu wydajności mogą śmiało odwołać się do tego przypadku podczas planowania własnych inicjatyw modernizacyjnych 25GbE.