NVIDIA Mellanox MCX653106A-HDAT Adapter Serwerowy w Akcji: Transport RDMA/RoCE o Niskim Opóźnieniu i Serwer

W nowoczesnych środowiskach centrów danych, począwszy od rozproszonego magazynu i handlu wysokiej częstotliwości po duże klastry szkoleniowe AI, tradycyjne stosy protokołów TCP/IP stały się głównym wąskim gardłem.Koszty ogólne sieci jądra, kopiowanie danych i przełączanie kontekstu zużywają znaczne zasoby procesora, jednocześnie wprowadzając nieprzewidywalną opóźnienie.W niniejszym badaniu przypadku analizowano, w jaki sposób wiodący dostawca infrastruktury chmury pokonał te wyzwania poprzez wdrożenieNVIDIA Mellanox MCX653106A-HDATserwer NIC, osiągając znaczącą poprawę zarówno opóźnienia, jak i przepustowości.

Istniejąca infrastruktura 25GbE dostawcy, obsługująca standardowy TCP, miała trudności z nadążaniem za ruchem pamięci masowej NVMe-oF i obciążeniami analitycznymi w czasie rzeczywistym.Wykorzystanie procesora w węzłach pamięci masowej często przekraczało 70% tylko dla przetwarzania sieci, pozostawiając niewystarczającą przestrzeń dla logiki aplikacji.powodujące wzrost opóźnienia w czasie, które wpłynęło na umowy na poziomie usługZespół inżynierów uznał, że konieczna jest fundamentalna zmiana architektury sieci, która obejdzie jądro i umożliwi bezpośredni dostęp do pamięci między punktami końcowymi.

Po przeanalizowaniu wielu opcji zespół wybrałKarta adaptera MCX653106A-HDAT EthernetZbudowana na bazie architektury ConnectX-6,MCX653106A-HDAT ConnectX adapter PCIe karta sieciowazapewnia podwójną łączność 100GbE z natywnym wsparciem sprzętowym dla RoCE (RDMA over Converged Ethernet).

• Faza 1:Zastąpić starsze NIC w węzłach pamięci masowej (10 węzłów uruchamiających Ceph) nowym adapterem.
• Faza 2:Konfiguracja bezstratnego ethernetu przy użyciu DCB (Priority Flow Control i ETS) zarówno na NIC, jak i przełącznikach top-of-rack.
• Faza 3:Migracja ruchu aplikacji z gniazd TCP do czasowników opartych na RDMA i NVMe-oF przez RoCE.
• Faza 4:Rozszerzenie wdrożenia na węzły obliczeniowe obsługujące analizę w czasie rzeczywistym.

Inżynierowie konsultującyArkusz danych MCX653106A-HDATa takżeSpecyfikacje MCX653106A-HDATW tym samym czasie firma Microsoft potwierdziła pełną kompatybilność z istniejącą strukturą przełącznika Mellanox i rozmieszczoną dystrybucją Linux (Ubuntu 22.04 z sterownikami MLNX_OFED).Kompatybilny z MCX653106A-HDATSystem okazał się kompleksowy, nie wymagając żadnych zmian sprzętowych poza wymianą samego NIC.

Badania po wdrożeniu wykazały znaczącą poprawę we wszystkich kluczowych wskaźnikach.

Oprócz tych zysków ilościowych zespół zaobserwował kilka korzyści jakościowych.Rozwiązanie karty adaptera MCX653106A-HDAT Ethernetumożliwił prawdziwy ruch danych bez kopii między pamięcią aplikacji a zdalnym pamięci masowej, eliminując problemy wyczerpania buforu, które wcześniej powodowały przerywane awarie podczas burz ruchu.Dla obciążenia analitycznego, migracja do RDMA zmniejszyła czas zakończenia pracy o 62%, bezpośrednio poprawiając wyniki biznesowe.Cena MCX653106A-HDATw stosunku do całkowitych kosztów posiadania, 30% redukcja liczby węzłów pamięci masowej (ze względu na wyższą wydajność na węzeł) uzyskała zwrot w ciągu dziewięciu miesięcy.MCX653106A-HDAT na sprzedażW tym celu firma NVIDIA, za pośrednictwem partnerów NVIDIA, umożliwiła również dostęp do ram DOCA, co umożliwi przyszłą programowalność niestandardowych funkcji sieciowych.

RozmieszczenieNVIDIA Mellanox MCX653106A-HDATTransformacja infrastruktury dostawcy z ograniczonego środowiska TCP w wysokiej wydajności, o niskim opóźnieniu, zdolny do obsługi nowoczesnych obciążeń roboczych.,Interfejs PCIe 4.0 i kompleksowy ekosystem oprogramowania odpowiada na trzy kluczowe wymagania dzisiejszych centrów danych: zmniejszenie opóźnienia, zwiększenie przepustowości i poprawa wydajności procesora.

Dla architektów oceniających podobne ulepszenia, podróż rozpoczyna się od weryfikacjiKompatybilny z MCX653106A-HDATKomponenty, w tym przełączniki, kable i systemy operacyjne.Arkusz danych MCX653106A-HDATW związku z tym, że tkaniny 200GbE stają się standardem, a klastry szkoleniowe sztucznej inteligencji wymagają coraz mniejszej opóźnienia,Karta adaptera MCX653106A-HDAT Ethernetjest gotowe jako sprawdzone, wytrzymałe w produkcji rozwiązanie. Dostawca rozszerza obecnie wdrożenie, aby obejmować bezpośrednią RDMA GPU dla obciążeń wykreowania sztucznej inteligencji,dalsza weryfikacja tego adaptera jako kamienia węgielnego nowoczesnej architektury centrów danych.