NVIDIA Mellanox MCX653106A-HDAT Techniczne rozwiązanie: umożliwienie transmisji RDMA/RoCE o niskim opóźnieniu i maksymalizacja serwera

Nowoczesne architektury centrów danych są coraz częściej definiowane przez potrzebę przetwarzania danych w czasie rzeczywistym, obciążenia robocze sztucznej inteligencji (AI) i obliczeń wysokiej wydajności (HPC).Tradycyjne stosy sieciowe, zwłaszcza TCP/IP, wprowadzają znaczące koszty operacyjne procesora i opóźnienie, które mogą upośledzić te aplikacje wrażliwe na wydajność.Architekci sieci i inżynierowie obsługi sieci mają za zadanie budowanie infrastruktury, która może być efektywnie skalowana, spełniając jednocześnie rygorystyczne umowy o poziomie usług (SLA) w zakresie opóźnienia i przepustowości.

Podstawowym wymogiem określonym w niniejszym planie technicznym jest ustalenie bez strat,tkanina o dużej przepustowości, która jest w stanie obsługiwać zdalny bezpośredni dostęp do pamięci (RDMA) za pośrednictwem konwergencyjnego ethernetu (RoCE)Aby to osiągnąć, podstawowa karta interfejsu sieciowego (NIC) musi nie tylko obsługiwać prędkość linii 100/200GbE, ale także zapewniać wyrafinowane obciążenia sprzętowe, aby uwolnić zasoby hosta CPU.TutajMCX653106A-HDATstaje się podstawowym elementem rozwiązania.

Zaproponowana architektura jest topologią typu "spine-leaf" zaprojektowaną dla środowiska chmury prywatnej, w którym znajdują się zarówno wirtualizowane obciążenia robocze, jak i bare-metal HPC clusters.Sieć jest segmentowana w celu obsługi ruchu RoCE, wymagające bezstratnej tkaniny Ethernet.

• Przełączniki liści:Przełączniki serii NVIDIA Spectrum SN3000 skonfigurowane z PFC (Priority Flow Control) i ETS (Enhanced Transmission Selection) tworzą bezstratną tkaninę RoCE.
• Przełączniki kręgosłupa:Przełączniki o dużej przepustowości zapewniające bezblokowanie wzajemnej łączności między wszystkimi przełącznikami liści.
• Węzły obliczeniowe i pamięci masowej:Każdy serwer jest wyposażony wNVIDIA Mellanox MCX653106A-HDATdo łączenia się z przełącznikami liściami z prędkością 100 Gb/s.

Ta konstrukcja zapewnia, że każda komunikacja w centrum danych doświadcza minimalnego opóźnienia i zerowej utraty pakietów z powodu zatłoczenia, co jest krytyczne dla stabilności ruchu RDMA.

JakoMCX653106A-HDAT ConnectX adapter PCIe karta sieciowa, urządzenie to pełni funkcję krytycznego interfejsu pomiędzy autobusem pamięci serwera a tkanką sieciową.Karta integruje zaawansowane możliwości sterownika ConnectX-6, który jest specjalnie zaprojektowany do wymagających warunków.Karta adaptera MCX653106A-HDAT Ethernet, umożliwia:

• Bypass jądra i RDMA:Aplikacje mogą komunikować się bezpośrednio z NIC, omijając jądro systemu operacyjnego.Transmisja RDMA/RoCE o niskiej opóźnieniu.
• Wyładowanie sprzętu:Karta odładowuje protokoły pamięci masowej i sieciowe, takie jak NVMe-oF i VXLAN, co dodatkowo zmniejsza koszty procesora i przyspiesza procesory.przepustowość serwera.
• Wsparcie PCIe Gen3/Gen4:Z PCIe 3.0/4.0 x16 interfejs host,MCX653106A-HDATzapewnia, aby przepustowość sieci 100/200Gb/s nie została ograniczona przez wewnętrzną szlakię serwera.

Dla architektów, którzy przeglądają szczegóły techniczne,Specyfikacje MCX653106A-HDATUjawniono wsparcie dla ponad 200 milionów pakietów na sekundę, co pokazuje jego zdolność do obsługi najbardziej intensywnych strumieni danych.Rozwiązanie karty adaptera MCX653106A-HDAT Ethernetdla naszych docelowych obciążeń.

Wdrożenie tkaniny RoCEv2 wymaga starannego planowania.MCX653106A-HDAT:

• Konsekwencja oprogramowania i sterownika:Upewnij się, że wszystkie karty są wyświetlane z tą samą wersją oprogramowania i że sterownik NVIDIA MLNX_OFED jest zainstalowany konsekwentnie we wszystkich węzłach.
• Konfiguracja przełącznika:Wdrożyć PFC na przełącznikach dla konkretnych kolejek priorytetowych 802.1p wyznaczonych do ruchu RoCE (zwykle priorytetu 3). ETS musi być skonfigurowany tak, aby przydzielać gwarantowaną przepustowość dla tych kolejek,zapobieganie wyczerpaniu buforu.
• Konfiguracja węzła:Na każdym serwerzeKompatybilny z MCX653106A-HDATNarzędzia takie jak 'cma_roce_mode' są używane do ustawienia trybu RoCE na v2 w celu zapewnienia dostosowania.

W celu rozszerzenia, architektura jest bardzo skalowalna.NVIDIA Mellanox MCX653106A-HDATNiezablokowanie tkaniny zapewnia przewidywalną wydajność wraz z rozwojem klastra.

Utrzymanie wysokiej wydajności tkaniny RoCE wymaga rygorystycznego monitorowania.MCX653106A-HDATdostarcza obszerne dane telemetryczne za pomocą standardowych narzędzi i oprogramowania własnego NVIDIA.

• Monitoring:Wykorzystaj "mlxlink" i "mlxstat" do liczników integralności i wydajności łącza.i wskaźniki ruchu RDMA.
• Rozwiązywanie problemów:W przypadku pogorszenia wydajności, pierwszą kontrolą jest zazwyczaj utrata pakietów z powodu burz PFC lub wyczerpania buforu.Arkusz danych MCX653106A-HDATPomaga korelować liczniki z konkretnymi zdarzeniami.
• Optymalizacja:Zaawansowane dostosowanie obejmuje dostosowanie parametrów moderacji przerwy i rozmiarów żądań odczytu PCIe.włączenie SR-IOV i przypisanie funkcji wirtualnych (VF) bezpośrednio do maszyn wirtualnych dodatkowo zmniejsza opóźnienie.

Przy zakupie sprzętu, zrozumienieCena MCX653106A-HDATW przypadku tych, którzy są gotowi do zamówienia, sprawdzenie, czyMCX653106A-HDAT na sprzedażWykaz autentycznych produktów i wsparcie.

W sprawieMCX653106A-HDATNVIDIA Mellanox jest czymś więcej niż tylko elementem; jest strategicznym elementem umożliwiającym transformację nowoczesnego centrum danych.bezpośrednio odpowiada potrzebom branży w zakresie niższej opóźnienia i większej przepustowościTo rozwiązanie techniczne pokazuje, że przy odpowiedniej architekturze i praktykach wdrażania organizacje mogą osiągnąć:

• Do 95% zmniejszenie czasu opóźnieniadla komunikacji między procesami w porównaniu z tradycyjnym TCP/IP.
• Znaczące oszczędności CPU(często 20-30%) mogące zostać reinwestowane w wydajność aplikacji.
• Infrastruktura odporna na przyszłośćmoże obsługiwać protokoły pamięci masowej 200GbE i protokoły pamięci masowej nowej generacji, takie jak NVMe-oF.

Dla architektów sieci, inżynierów DevOps i liderów operacji, droga do wysokiej wydajności centrum danych zaczyna się od właściwych elementów.