NVIDIA Mellanox MCX631102AN-ADAT Server Adapter Rozwiązanie techniczne: RDMA/RoCE Low-Latency Transport and Server

NVIDIA Mellanox MCX631102AN-ADAT Server Adapter Techniczne rozwiązanie: RDMA/RoCE Transport niskiego opóźnienia i Architektura wzmacniania przepustowości serwera

1Analiza tła i wymagań projektu

Współczesne centra danych przechodzą fundamentalną transformację z architektury komputerowej na architekturę danych.i rozproszone bazy danych stają się wszechobecne, struktura sieci stała się krytycznym wąskim gardłem ograniczającym ogólną wydajność systemu.wprowadza nieprzewidywalne zdenerwowanie opóźnienia, i nie wykorzystuje w pełni potencjału szerokości pasma nowoczesnych mediów.

Kluczowe wymagania określone w środowiskach przedsiębiorstw i chmury obejmują:

• Latencja poniżej milisekundy:Aplikacje krytyczne, takie jak platformy handlowe i analityka w czasie rzeczywistym, wymagają stałej komunikacji o niskim opóźnieniu.
• Obciążenie procesora:Przetwarzanie protokołu sieciowego powinno zużywać mniej niż 10% zasobów CPU na węzeł, aby zachować zdolność obliczeniową dla obciążeń roboczych aplikacji.
• Skalowalność szerokości pasma:Infrastruktura musi obsługiwać 25GbE na port z jasną ścieżką modernizacji do przyszłych wdrożeń 50/100GbE.
• Bezproblemowa integracja:Rozwiązanie musi być kompatybilne z istniejącymi platformami serwerów, systemami operacyjnymi i narzędziami zarządzania.

W sprawieNVIDIA Mellanox MCX631102AN-ADATbezpośrednio odpowiada na te wymagania za pośrednictwem architektury ConnectX-6 Lx,dostarczanie RDMA przyspieszonego sprzętowo przez Converged Ethernet (RoCE) z możliwością zerowej kopii transferu danych i możliwością obejścia jądra.

2Ogólne projektowanie architektury sieci/systemów

Proponowana architektura przyjmuje topologię leaf-spine zoptymalizowaną do transportu RoCE.MCX631102AN-ADAT rozwiązanie karty adaptera Ethernet, rozmieszczone w każdym węzle serwera w celu zapewnienia łączności 25GbE z dwoma portami.

Architektura warstwy:

• Węzły obliczeniowe/przechowawcze:Każdy serwer jest wyposażony w jeden lub więcejMCX631102AN-ADAT ConnectX-6 Lx podwójny port 25GbE SFP28Adaptory, skonfigurowane z obydwoma portami aktywnymi w celu zapewnienia wysokiej dostępności i równoważenia obciążenia.
• Warstwa liści:Przełączniki NVIDIA Spectrum-3 zapewniają niską opóźnienie, bezstratne przekazywanie Ethernet z kontrolą zatłoczenia RoCE (PFC / ECN).
• Warstwa kręgosłupaWysokiej wydajności przełączniki kręgosłupa łączą węzły liści z 100GbE uplinks, zapewniając nieblokowanie wydajności w całej tkaninie.
• Plan zarządzania:Sieć zarządzania poza pasmem do zbierania telemetrii, orkiestry konfiguracji i monitorowania stanu poprzez NVIDIA DOCA i MLNX-OS.

Konstrukcja obejmuje mikrosegmentację i izolację ruchu przy użyciu oprogramowania vSwitch offload, zapewniając, że ruch najemcy pozostaje izolowany bez narażania wydajności.

3. Rola i kluczowe cechy NVIDIA Mellanox MCX631102AN-ADAT w rozwiązaniu

Jako podstawowy interfejs sieciowy dla każdego serwera,NVIDIA Mellanox MCX631102AN-ADATodgrywa kluczową rolę w osiąganiu celów w zakresie wydajności i wydajności ogólnej architektury.

Zgodnie zArkusz danych MCX631102AN-ADAT, adapter obsługuje również szyfrowanie IPsec i MACsec in-line, zapewniając bezpieczeństwo danych w trakcie tranzytu bez zaniedbywania przepustowości.Specyfikacje MCX631102AN-ADATpotwierdzenie wsparcia zaawansowanej telemetrii ▌w tym liczników przepływu, histogramów opóźnienia i wykrywania zatłoczenia ▌, które są kluczowe dla proaktywnego zarządzania siecią.

4. Zalecenia dotyczące wdrażania i skalowania (z typową topologią)

W przypadku organizacji planujących wdrożenieNVIDIA Mellanox MCX631102AN-ADAT, zaleca się stosowanie następującego stopniowego podejścia:

Faza 1 Początek z małym klastrem do walidacji konfiguracji RoCE, dostrojenia parametrów PFC/ECN i porównywania wydajności aplikacji.Karta adaptera Ethernet MCX631102AN-ADATnależy zainstalować z najnowszymi sterownikami i oprogramowaniem napędowym Mellanox OFED w celu zapewnienia optymalnej kompatybilności.

Faza 2  Rozbudowa podłoża (20  50 węzłów):Skalowanie na pełny rack lub pod, wdrażanie pary przełączników liści z konfiguracją Ethernet bez strat.Umożliwienie zarządzania zatłoczeniami opartymi na sprzęcie i konfiguracja parametrów DCB (Data Center Bridging) zgodnie z zalecanymi najlepszymi praktykami.

Faza 3 Wdrożyć inżynierię ruchu z wykorzystaniem urządzeń sterowania sprzętu adaptera i użyćKompatybilny z MCX631102AN-ADATNVIDIA Unified Fabric Manager do orkiestracji i zautomatyzowanego dostarczania.

Typowy opis topologii:Standardowa konfiguracja półki składa się z 20 serwerów obliczeniowych/magazynowych, z których każdy jest wyposażony w jedenMCX631102AN-ADAT ConnectX-6 Lx podwójny port 25GbE SFP28Port 1 łączy się z przełącznikiem liści A, port 2 łączy się z przełącznikiem liści B, zapewniając redundantne ścieżki.Ta topologia zapewnia, że każda awaria pojedynczego łącza lub przełącznika nie wpływa na dostępność aplikacji.

5. Operacje, monitorowanie, rozwiązywanie problemów i optymalizacja

Skuteczne funkcjonowanie sieci opartej na RoCE wymaga specjalistycznych praktyk monitorowania i rozwiązywania problemów.MCX631102AN-ADATzapewnia wbudowane urządzenia do wspierania tych działań:

• Zbiór telemetrii:Użyj liczników sprzętowych adaptera do monitorowania przepustowości na przepływ, głębokości kolejki, spadków pakietów i dystrybucji opóźnienia.Dane te są przekazywane do scentralizowanych paneli monitorujących w celu zapewnienia widoczności w czasie rzeczywistym.
• Wykrycie zatłoczenia:Monitorujemy ramy przerwy PFC i pakiety oznaczone ECN w celu identyfikacji mikrowybuchów i punktów ruchu.Arkusz danych MCX631102AN-ADATzawiera wytyczne dotyczące interpretacji tych liczników.
• Zarządzanie oprogramowaniem stacjonarnym i sterownikami:Regularne aktualizacje zestawu sterowników NVIDIA OFED i oprogramowania naprawczego adaptera są niezbędne dla wydajności i bezpieczeństwa.
• Dostrajanie wydajności:Kluczowe parametry regulacji obejmują regulację progu bufora PFC, ustawienie odpowiednich limitów oznakowania ECN oraz konfigurację ustawień moderacji przerwy adaptera w celu zrównoważenia opóźnienia i przepustowości.
• Powszechne rozwiązywanie problemów:Większość problemów z wydajnością może być spowodowana błędną konfiguracją ustawień DCB, niezgodnymi wartościami MTU lub niekompatybilnymi wersjami sterowników.i mlxconfig) zapewniają kompleksową widoczność stanu operacyjnego.

W przypadku organizacji oceniających całkowity koszt posiadaniaCena MCX631102AN-ADATWiele przedsiębiorstw uważa, że w przypadku większej liczbyMCX631102AN-ADAT na sprzedażZestawy z przełącznikami NVIDIA Spectrum oferują najbardziej opłacalne rozwiązanie do wdrożeń w nowych warunkach.

6Podsumowanie i ocena wartości

W sprawieNVIDIA Mellanox MCX631102AN-ADATstanowi strategiczną inwestycję w infrastrukturę, która zapewnia wymierną wartość biznesową w trzech wymiarach:

Jako końcówkaMCX631102AN-ADAT rozwiązanie karty adaptera Ethernet, umożliwia organizacjom budowanie bezstratnych, wydajnych sieci, które w pełni realizują potencjał nowoczesnych aplikacji.środowiska dostawców usług w chmurze, lub klastrach badawczych HPC,MCX631102AN-ADATkonsekwentnie zapewnia niską opóźnienie, wysoką przepustowość i prostotę operacyjną wymaganą przez architektów infrastruktury.