NVIDIA Mellanox MCX653105A-HDAT Adapter Serwerowy w Akcji | Niskie Opóźnienia Transportu RDMA/RoCE i Wzrost Przepustowości Serwera

NVIDIA Mellanox MCX653105A-HDAT Server Adapter w akcji.

Temat i wyzwanie: wąski gardło w szkoleniu w zakresie sztucznej inteligencji

Wiodąca firma technologii finansowych specjalizująca się w handlu algorytmicznym i analizie ryzyka w czasie rzeczywistym stanęła przed krytycznym wyzwaniem infrastrukturalnym.Ich zespół maszynowego uczenia się wdrożył rozproszony klaster szkoleniowy składający się z 32 serwerów przyspieszonych przez GPUJednak wraz ze wzrostem złożoności modelu z milionów do miliardów parametrów, opóźnienie sieci stało się dominującym wąskim gardłem.Istniejące adaptery 25GbE, działający z tradycyjnym TCP/IP, wprowadził nieprzewidywalną opóźnienie ogona, które znacznie spowolniło synchronizację gradientu w całym klasterze.

Architekci infrastruktury firmy zidentyfikowali dwa główne problemy.stos TCP/IP zużywał znaczne zasoby procesora na każdym serwerze ̇ do 30% dostępnych rdzeni ̇ co zmniejszało pojemność dostępną do szkolenia modeluPo drugie, brak obciążenia sprzętowego dla RDMA oznaczał, że transfery danych między pamięcią GPU a siecią wymagały wielu kopii pamięci.dodawanie opóźnień na poziomie mikrosekund, które gromadzone są w tysiącach wymian parametrów na krok szkoleniowyZespół potrzebował rozwiązania, które mogłoby dostarczać determinystyczną komunikację o niskim opóźnieniu bez poświęcania przepustowości serwera lub wymagającego całkowitego remontu sieci.

Rozwiązanie i wdrożenie: Wdrożenie RoCE z MCX653105A-HDAT

Po przeanalizowaniu wielu opcji firma wybrałaNVIDIA Mellanox MCX653105A-HDATKarta sieciowa PCIe została wdrożona w każdym z 32 serwerów szkoleniowych, zastępując adaptery poprzedniej generacji.Karta sieciowa PCIe MCX653105A-HDAT ConnectX adapterZapewniono wymagane połączenie dużej przepustowości i akceleracji sprzętowej wsparcia RoCEv2, umożliwiając prawdziwą komunikację RDMA w istniejącej tkance Ethernet.

Rozmieszczenie działań było zorganizowane w następujący sposób:

• Instalacja fizyczna:Każdy serwer otrzymałKarta adaptera MCX653105A-HDAT Ethernet, podłączone za pośrednictwem podwójnych 25GbE łączy SFP28 do redundantnych przełączników górnych.
• Konfiguracja RoCEv2:Przełączniki sieciowe zostały skonfigurowane z priorytetowym sterowaniem przepływem (PFC) i wyraźnym powiadamianiem o zatłoczeniu (ECN), aby zapewnić bezstratny transport ethernetu, warunek wstępny dla optymalnej wydajności RDMA.
• GPUDirect Integracja:Zespół wykorzystał możliwości GPUDirect adaptera, umożliwiając bezpośredni przepływ danych między pamięcią GPU a interfejsem sieciowym bez zaangażowania hosta CPU.
• Stosunek oprogramowania:Zainstalowano stertę sterowników sieciowych NVIDIA, a ramy szkoleniowe (PyTorch z równoległymi rozproszonymi danymi) zostały skonfigurowane w celu wykorzystania warstwy transportu RDMA.

Zgodnie zArkusz danych MCX653105A-HDAT, adapter obsługuje PCIe Gen 4.0 x16,zapewniając do 256 GB/s szerokości pasmowej hosta, wystarczającej do pełnego nasycenia podwójnych portów 25GbE, pozostawiając jednocześnie duży przestrzenię dla przyszłych ulepszeń do 50GbE lub 100GbE,Zespół zauważył, że elastyczność adaptera sprawiła, żeKompatybilny z MCX653105A-HDATZ istniejącym sprzętem serwera, który obsługiwał zarówno PCIe Gen 3.0 jak i 4.0.

W sprawieSpecyfikacje MCX653105A-HDATZastosowali parametry przerwy, aby zrównoważyć opóźnienie i wykorzystanie procesora.i skonfigurowane ustawienia priorytetów w kolejce, aby zapewnić, że ruch synchronizacji gradientów otrzymał najwyższe traktowanie QoS.

Wyniki i wymierne korzyści

Poprawa wyników była znaczna i bezpośrednio mierzalna w wielu wymiarach:

Oprócz poprawy ilościowejNVIDIA Mellanox MCX653105A-HDATZapewnił korzyści operacyjne, których zespół nie przewidywał.Deterministyczne opóźnienie zapewniało konsekwentne osiągnięcie konwergencji szkolenia w przewidywalnych ramach czasowych, co jest kluczowym wymogiem dla czasochłonnych cykli rozwoju modeli firmy.Uwolnione rdzenie procesora zostały przekierowane w kierunku rzeczywistego obliczania, skutecznie zwiększając efektywną zdolność obliczeniową klastra bez dodawania nowego sprzętu.

Zespół wykorzystał również wbudowaną telemetrię adaptera, aby uzyskać widoczność w wzorach zatłoczenia tkanin.Dane te pomogły im zoptymalizować konfiguracje buforów sieci i proaktywnie zidentyfikować potencjalne pogorszenia wydajności.Rozwiązanie karty adaptera MCX653105A-HDAT EthernetWykazano, że jest zarówno przyspieszaczem wydajności, jak i narzędziem wywiadu operacyjnego.

Podsumowanie i perspektywy

Wdrożenie to potwierdziło, żeNVIDIA Mellanox MCX653105A-HDATjest czymś więcej niż tylko aktualizacją sieci, jest to strategiczna inwestycja w rozproszone wydajności obliczeniowe.adapter zmniejszył czas szkolenia o ponad 70%, przyspieszenie czasu wprowadzania nowych modeli na rynek i znaczna poprawa efektywności infrastruktury.

Firma planuje teraz rozszerzyć tę architekturę na dodatkowe klastry, w tym ich platformę analizy ryzyka w czasie rzeczywistym,w przypadku gdy konieczne jest przenoszenie danych o niskim opóźnieniu pomiędzy bazami danych w pamięci i węzłami obliczeniowymi.Cena MCX653105A-HDAT, w odniesieniu do oszczędności operacyjnych i wzrostu wydajności,W związku z powyższym Komisja stwierdza, że koszty wykorzystania infrastruktury InfiniBand w ramach programu InfiniBand są niezależne od kosztów inwestycji..

Dla organizacji aktywnie oceniającychMCX653105A-HDAT na sprzedażOpcje, to badanie przypadku pokazuje, że adapter spełnia obietnicę sieci o niskim opóźnieniu i wysokiej przepustowości w rzeczywistych środowiskach produkcyjnych.Połączenie przyspieszenia sprzętowego, kompleksowa telemetria i bezproblemowa kompatybilność z istniejącą infrastrukturą ethernetuNVIDIA Mellanox MCX653105A-HDATpodstawowy element nowoczesnej architektury centrów danych.