Rozwiązanie techniczne: Osiągnięcie niskich opóźnień i optymalizacji przepustowości RDMA/RoCE dzięki Mellanox

Nowoczesne centra danych są pod ciągłą presją, aby zapewnić wyższą wydajność dla aplikacji wrażliwych na opóźnienie, takich jak rozproszone bazy danych, obliczenia wysokiej wydajności (HPC),i klastry szkoleniowe w zakresie sztucznej inteligencjiTradycyjne sieci TCP/IP nakładają znaczne koszty na procesor, tworząc wąskie gardła, które ograniczają skalowalność aplikacji i zwiększają czas reakcji.Dla organizacji chcących zmodernizować swoją infrastrukturę, podstawowy wymóg jest jasny: zmniejszenie opóźnienia i zwiększenie przepustowości serwera bez kosztownych remontów architektonicznych.

Rozwiązanie polega na przyjęciu RDMA (Remote Direct Memory Access) przez Converged Ethernet (RoCE).omijanie jądra systemu operacyjnego, aby uwolnić zasoby procesora i zminimalizować opóźnienieW centrum tej transformacji znajduje się karta interfejsu sieciowego (NIC).MCX631432AN-ADABOd Mellanox (NVIDIA) jest specjalnie zaprojektowany, aby sprostać tym wymaganiom, zapewniając solidną podstawę dla tkanin umożliwiających RoCE.

Zaproponowana architektura jest strukturą leaf-spine zaprojektowaną do bezstratnego środowiska Ethernet, co jest warunkiem wstępnym optymalnej wydajności RoCEv2.Konstrukcja integruje ruch obliczeniowy i pamięci masowej, wysokiej prędkości tkaniny w celu zmniejszenia złożoności i kosztów.

• Warstwa kręgosłupaWysokiej wydajności przełączniki 100GbE zapewniają łączność bez blokowania między wszystkimi przełącznikami liści, zapewniając każdą ścieżkę o niskim opóźnieniu.
• Warstwa liści:Przełączniki "Top-of-Rack" (ToR) z 25GbE łączy się z serwerami i węzłami pamięci masowej.Przełączniki te są skonfigurowane z Priority Flow Control (PFC) i Explicit Congestion Notification (ECN) w celu utrzymania tkanki bez strat.
• Poziom serwera:Każdy serwer jest wyposażony wNVIDIA Mellanox MCX631432AN-ADAB, dwu-port 25GbE SFP28 adapter. Umożliwia to połączenie sieciowe lub oddzielne ścieżki dla przechowywania i ruchu obliczeniowego.

Takie zaprojektowanie zapewnia, żeKarta adaptera Ethernet MCX631432AN-ADABdziała w środowisku, w którym ruch RoCE może przepływać bez utraty pakietów, co jest kluczowe dla utrzymania wysokiej przepustowości i niskiego opóźnienia.

W sprawieMCX631432AN-ADABJest to kluczowy punkt końcowy umożliwiający rozwiązanie. Jako członek rodziny ConnectX-6 Lx, przynosi funkcje klasy korporacyjnej do 25GbE.Rozwiązanie karty adaptera Ethernet MCX631432AN-ADABzarówno w przypadku ruchu obliczeniowego, jak i przechowywania danych, obniżenie obciążenia zadań sieciowych z procesora serwera.

Kluczowe wkłady techniczne adaptera obejmują:

• Wyładowanie sprzętu:Karta obsługuje wszystkie aspekty protokołu RoCE w sprzęcie, w tym transport, enkapsulację i kontrolę zatłoczenia.
• Elastyczność podwójnego portu:Podwójne porty 25GbE mogą być skonfigurowane do aktywnego / gotowego failu lub wykorzystywane do oddzielenia typów ruchu.jeden port może obsługiwać ruch Ethernet z przodu, podczas gdy drugi jest przeznaczony do ruchu pamięci masowej z tyłu przy użyciu RoCE, maksymalnie zwiększając przepustowość i bezpieczeństwo.
• PCIe 3.0 x16 Host Interface:Z wystarczającą szerokością pasma do uruchomienia obu portów 25GbE jednocześnie,MCX631432AN-ADAB ConnectX-6 Lx podwójny port 25GbE SFP28zapewnia, aby wewnętrzne wąskie gardła nie ograniczały wydajności aplikacji.

WdrażanieMCX631432AN-ADABNastępujące kroki przedstawiają typowe wdrożenie klastra o wysokiej wydajności:

• Przygotowanie tkaniny:Przed wdrożeniem należy skonfigurować przełączniki sieciowe w celu obsługi RoCE.To tworzy środowisko bez strat wymagane dla adaptera do optymalnego działania.
• Instalacja sterownika i oprogramowania:W celu zapewnienia pełnego wsparcia funkcji należy zainstalować najnowsze sterowniki NVIDIA WinOF-2 (dla systemu Windows) lub MLNX_OFED (dla systemu Linux).MCX631432AN-ADABjest aktualny w celu zapewnienia optymalnej wydajności RoCE i zgodności.
• Skalowanie klastra:Architektura skaluje się poziomo poprzez dodanie większej liczby węzłów serwerowych, z których każdy ma własny MCX631432AN-ADAB.Niezablokowanie tkaniny liści-kręgosłupa zapewnia, że dodane węzły nie pogarszają wydajności dla istniejącychW przypadku większych wdrożeń można używać grup agregacji linków (LAG) między przełącznikami liści i kręgosłupa.

Typowa topologia klastra bazy danych polega na podłączeniu serwerów podstawowych i replikacji do tego samego przełącznika, aby zminimalizować opóźnienie między rackami.Każdy serwer korzysta z adaptera podwójnego portu do podłączenia do dwóch oddzielnych przełączników liści do redundancji.

Po wdrożeniu utrzymanie wydajności wymaga proaktywnego monitorowania i dostosowywania.MCX631432AN-ADABzapewnia w tym celu kompleksową telemetrię.

• Podstawowe wskaźniki monitorowania:Wykorzystanie narzędzi takich jak `mlxstat` i `ethtool` w celu monitorowania liczników portów, błędów łącza i statystyk ruchu RDMA.wysoka liczba wskazuje na tkaninę z stratami, która obniży wydajność RoCE.
• Aktualizacje oprogramowania i sterowników:Regularnie sprawdzaj aktualizacje. Nowe oprogramowanie stałe często zawiera optymalizacje wydajności i poprawki błędów, które mogą jeszcze bardziej zmniejszyć opóźnienie i poprawić kompatybilność ze przełącznikami górnymi.
• Dostrajanie wydajności:W środowiskach o najbardziej wymagających wymaganiach dotyczących opóźnienia, precyzyjne dostosowanie moderacji przerwy i rozmiarów buforów może przynosić stopniowe zyski.Elastyczność adaptera umożliwia architektom ustawianie ustawień na podstawie ich konkretnego obciążenia pracą (np.HPC vs. wirtualizacja).

W celu rozwiązywania problemów związanych z łącznością należy sprawdzić, czy moduły SFP28 sąKompatybilny z MCX631432AN-ADABWykorzystanie optyki zgodnej z normami NVIDIA zapewnia niezawodne ustanowienie i wydajność połączenia.

W sprawieMCX631432AN-ADABOd Mellanox (NVIDIA) zapewnia jasną i skuteczną ścieżkę do wdrożenia wysokiej wydajności, niskiego opóźnienia tkanki sieciowej.organizacje mogą osiągnąć podwójne korzyści z drastycznie zmniejszonego kosztów CPU i znacznie zwiększonego przepustowości serwera. SzczegółoweSpecyfikacje MCX631432AN-ADABa takżeArkusz danych MCX631432AN-ADABpotwierdzenie zdolności do obsługi najbardziej wymagających obciążeń pracą.

Dla menedżerów IT i architektów sieci oceniających aktualizację sprzętu, zyski wydajności oferowane przez to rozwiązanie przekładają się bezpośrednio na wartość biznesową: szybsze przetwarzanie transakcji,skuteczniejszy dostęp do magazynówW związku z dalszym wzrostem zapotrzebowania na dane, wdrażanieMCX631432AN-ADABW celu uzyskania szczegółowych informacji dotyczących cen lub w celu sprawdzenia, czy infrastruktura sieci jest zgodna z wymogami określonymi wCena MCX631432AN-ADABi dostępności, prosimy o konsultację z przedstawicielem NVIDIA.