Adapter serwerowy Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT w akcji: transport i serwer o niskim opóźnieniu sterowany przez RDMA/RoCE

W rzeczywistym środowisku produkcyjnym obsługującym rozproszone bazy danych, klastry inferencji sztucznej inteligencji i przechowywanie hiperkonwergencyjne,Jitter opóźnienia i przeciążenia procesora spowodowane przez tradycyjny stos TCP / IP stały się trudnymi wąskimi gardłami dla skalowaniaZespół ds. infrastruktury internetowej na dużą skalę niedawno zakończył kompleksową modernizację sieci w oparciu oMellanox (NVIDIA Mellanox) MCX623106AN-CDATAdapter serwera, koncentrujący się na walidacji namacalnych korzyści wynikających z technologii RDMA/RoCE dla transportu o niskim opóźnieniu i poprawy przepustowości serwera.W tym artykule przedstawiono szczegóły wdrożenia i kluczowe wyniki z tego przypadku praktycznego.

Zespół obsługiwał klaster z tysięcy serwerów z systemami rozproszonego pamięci masowej (Ceph) i systemami rekomendacji w czasie rzeczywistym.każdy węzeł pamięci masowej musiał obsługiwać tysiące równoległych połączeń TCP, zużywając prawie 30% zasobów CPU na przetwarzanie protokołów sieciowych, z opóźnieniem odczytu/zapisu od końca do końca często przekraczającym 200 μs.brak możliwości obciążenia sprzętuZespół pilnie potrzebował rozwiązania adaptera serwera, które wspierało RoCEv2, dostarczając obciążenia transportowe na poziomie sprzętu,i jednocześnie oferuje zarówno wysoką przepustowość i niską opóźnienie.

Po ocenie zespół wybrałMCX623106AN-CDATTen adapter należy do rodziny ConnectX-6 Dx. Po prostu zastępując starsze adaptery 10GbENVIDIA Mellanox MCX623106AN-CDATZespół położył fundamenty, aby w pełni wykorzystać możliwości rozwoju sieci RoCE w celu zwiększenia efektywności sieci.Karta adaptera MCX623106AN-CDAT Ethernet, węzły pamięci masowej umożliwiły obniżenie kosztów użytkowania sprzętu i agregację dynamicznych linków.Arkusz danych MCX623106AN-CDATW celu uzyskania wskazówek dotyczących możliwości PCIe 4.0 x16 i podwójnych portów 100GbE, zapewniając budżet łącza i kompatybilność płaszczyzny tła.Kompatybilny z MCX623106AN-CDATpołączenie z istniejącymi przełącznikami Leaf-Spine, bez konieczności wymiany podstawowego sprzętu sieciowego.

Ocena wydajności po uaktualnieniu przyniosła uderzające wyniki.MCX623106AN-CDAT ConnectX adapter PCIe karta sieciowawykazano:

• Średnie opóźnienie od końca do końcaobniżenie z 210 μs do 18 μs (NVMe nad operacjami odczytu tkanin nad RoCEv2);
• Przeciążenia sieciowe procesoraobniżenie z 28% do 4%, uwalniając cykle obliczeniowe do zastosowań biznesowych;
• Efektywna przepustowość na węzełosiągające 98,7 Gbps, przenoszenie bliskie prędkości linii;
• Ogólnie 4K losowym zapisaniu IOPSwielowęzłowego klastra Ceph zwiększającego się o 3,2x.

Szef zespołu zauważył: "MCX623106AN-CDAT rozwiązanie karty adaptera EthernetWcześniej niewyobrażalne mieszane obciążenia pracy, wrażliwe na opóźnienie, mogą współistnieć z zadaniami w tle na tym samym poziomie sieci." Co więcej, według zapisów zamówień,Cena MCX623106AN-CDATw tym przypadku zmniejszenie całkowitych kosztów posiadania (TCO) o 40% w porównaniu z adapterami akceleratora opartymi na FPGA, orazMCX623106AN-CDAT na sprzedażW związku z tym, że projekt został zrealizowany poprzez standardowe kanały, czas realizacji projektu znacznie skrócił się.Specyfikacje MCX623106AN-CDATPotwierdził, że adapter zapewnia opóźnienie poniżej 600 ns i wydajność przewodów we wszystkich rozmiarach pakietów, które doskonale odpowiadają wymaganiom zespołu.

Praktyka ta wyraźnie dowodzi, żeMCX623106AN-CDATto nie tylko wysokiej wydajności adapter Ethernet ale kamień węgielny do budowy niskiego opóźnienia, wysokiej przepustowości sieci centrum danych.Kompletna architektura obciążenia RoCE i silnik przyspieszenia sprzętu rozwiązują podstawowe wyzwania związane z przetwarzaniem sieci związanej z procesorem i opóźnieniem stosów protokołówDla każdej organizacji, która chce odblokować przepustowość serwera, zmniejszyć opóźnienie dostępu do pamięci masowej i przygotować się do obciążeń roboczych AI i NVMe-oF,Mellanox (NVIDIA Mellanox) MCX623106AN-CDAToferuje sprawdzoną, gotową do produkcji drogę naprzód.