Plan Techniczny: Karta serwerowa Mellanox (NVIDIA) MCX631102AN-ADAT do transmisji RDMA/RoCE o niskim opóźnieniu
March 12, 2026
Nowoczesne architektury centrów danych są pod ciągłą presją, aby zapewnić wyższą wydajność przy jednoczesnym zachowaniu wydajności operacyjnej. The exponential growth in data-intensive workloads—from real-time analytics and AI training to distributed storage and financial trading—has exposed the limitations of traditional network infrastructuresGłównym przeszkodą jest konwencjonalny stos sieciowy TCP/IP, który zużywa znaczne zasoby procesora, wprowadza nieprzewidywalne opóźnienie i ogranicza ogólną przepustowość systemu.
Architekci przedsiębiorstw stoją przed krytycznym wyzwaniem: jak skalować wydajność sieci bez proporcjonalnego wzrostu kosztów i złożoności.Rozwiązanie wymaga fundamentalnego przejścia od sieci koncentrującej się na procesorze do sieci przyspieszonej przez sprzętW niniejszym dokumencie technicznym przedstawiono kompleksowe rozwiązanie zbudowane na bazie Mellanox (NVIDIA) MCX631102AN-ADAT,rozwiązywanie podstawowych wymagań dotyczących transmisji o niskim opóźnieniu i zwiększenia przepustowości serwera za pomocą technologii RDMA/RoCE.
Zaproponowana architektura przyjmuje topologię leaf-spine zoptymalizowaną dla łączności 25GbE z obsługą RDMA / RoCE.Podstawowym założeniem projektu jest wyeliminowanie kosztów związanych z siecią procesora przy jednoczesnym zachowaniu płynnej integracji z istniejącymi inwestycjami w infrastrukturę.
- Warstwa liści:Komutatory na szczycie półki skonfigurowane z PFC (Priority Flow Control) i ECN (Explicit Congestion Notification) w celu obsługi ruchu bez strat RoCE v2
- Warstwa kręgosłupaKomutatory o dużej przepustowości zapewniające bezblokowanie łączności od każdego do każdego z połączeniami górnymi 100GbE
- Poziom serwera:Węzły obliczeniowe i pamięci masowej wyposażone w adaptery NVIDIA Mellanox MCX631102AN-ADAT ConnectX-6 Lx z dwoma portami 25GbE SFP28
- Sieć pamięci masowej:Dedykowana tkanina umożliwiająca RoCE do dostępu NVMe-oF do wszystkich układów pamięci masowej
Architektura obsługuje wiele dziedzin obciążenia pracą, w tym wirtualizację, bare-metal i środowiska kontenerowe, poprzez inteligentną segmentację ruchu i zasady QoS.Każdy serwer wykorzystuje możliwości podwójnych portów MCX631102AN-ADAT do aktywnego-aktywnego bilansowania obciążenia lub aktywnych-pasywnych konfiguracji wysokiej dostępności.
Karta adaptera MCX631102AN-ADAT Ethernet służy jako krytyczny interfejs między zasobami serwera a tkanką sieciową.dostarcza kilka możliwości transformacyjnych:
- RDMA/RoCE oparte na sprzęcie:Adapter wdraża pełne obciążenie RoCE v2 w sprzęcie, umożliwiając bezpośrednie transfery danych z pamięci do pamięci bez zaangażowania procesora.Zmniejsza to opóźnienie do jednocyfrowych mikrosekund, uwalniając rdzenie procesora do przetwarzania aplikacji.
- Inteligentna optymalizacja PCIe:Dzięki interfejsowi hosta PCIe 3.0/4.0 x8 specyfikacje MCX631102AN-ADAT wykazują wsparcie dla dwukierunkowej przepustowości do 50 Gb/s, eliminując wąskie gardła PCIe w serwerach o wysokiej wydajności.
- Zaawansowana obsługa wirtualizacji:Adapter zapewnia oprogramowanie SR-IOV oparte na sprzęcie z maksymalnie 512 wirtualnymi funkcjami, zapewniając przewidywalną wydajność w środowiskach z wieloma użytkownikami.
- Przyspieszenie magazynowania:Natywne wsparcie dla NVMe-oF i iSER umożliwia efektywne wzory dostępu do pamięci masowej niezbędne dla nowoczesnej infrastruktury hiperkonwergencyjnej.
Konfiguracja 25GbE SFP28 z dwoma portami zapewnia elastyczność wdrażania.jeden dla obliczeń) lub zagregowane dla zwiększonej przepustowości i redundancji.
Skuteczne wdrożenie rozwiązania MCX631102AN-ADAT ConnectX-6 Lx z dwoma portami 25GbE SFP28 wymaga starannego planowania w warstwach sieci, serwerów i aplikacji.Zaleca się następujące stopniowe podejście::
| Faza | Działania | Kluczowe aspekty |
|---|---|---|
| 1Przygotowanie infrastruktury | Zweryfikuj wsparcie przełącznika dla RoCE (PFC/ECN), okablowania (SFP28) oraz mocy/zdrowienia | Odwołuj się do listy przełączników kompatybilnych MCX631102AN-ADAT z NVIDIA Mellanox |
| 2Pilot rozmieszczenia | Wdrożenie w reprezentatywnym klastrze obciążeń roboczych (np. węzły bazy danych lub analityczne) | Zweryfikowanie specyfikacji MCX631102AN-ADAT w stosunku do wymagań dotyczących obciążenia pracą |
| 3. RoCE Tuning | Konfiguracja priorytetów PFC, progów ECN i alokacji bufora | Wykorzystaj przewodniki NVIDIA dotyczące dostrojenia wydajności z arkusza danych MCX631102AN-ADAT |
| 4Rozwój produkcji | Skala do całego klastra z spójnym zarządzaniem konfiguracją | Wdrożenie monitorowania i ostrzegania w zakresie zdrowia ruchu drogowego RDMA |
W przypadku wdrożeń w wielu lokalizacjach należy rozważyć wdrożenie RoCE w sieciach L3 przy użyciu zaawansowanych funkcji, takich jak QoS oparty na DSCP i rozpowszechnianie powiadomień o zatłoczeniu.Rozwiązanie karty adaptera MCX631102AN-ADAT Ethernet obejmuje kompleksowe wsparcie dla tych możliwości.
Utrzymanie optymalnej wydajności wymaga widoczności wzorców ruchu RDMA/RoCE i stanu adaptera.
- Monitoring wydajności:Wykorzystanie narzędzi Mellanox NVIDIA (mlxtool, ethtool) i standardowych narzędzi Linux do monitorowania statystyk portów, liczników RDMA i błędów PCIe.,i pakietów oznaczonych ECN.
- Zarządzanie oprogramowaniem stacjonarnym i sterownikami:Regularne aktualizacje zapewniają dostęp do najnowszych funkcji i poprawek błędów.
- Zarządzanie zatłoczeniami:Wdrożenie dynamicznego dostosowania progu dla buforów PFC w oparciu o wzory obciążenia pracą.
- Ramy rozwiązywania problemów:Opracowanie systematycznego podejścia do wspólnych kwestii:
- Kwestie związane z połączeniem: sprawdzenie modułów SFP28, jakości kabli i negocjacja prędkości
- Połączenie RoCE: zatwierdzenie symetrii konfiguracji PFC we wszystkich przełącznikach
- Zaniżanie wydajności: sprawdzenie wyczerpania buforu lub zatłoczenia ciągłego
Kompleksowe specyfikacje MCX631102AN-ADAT obejmują rozległe możliwości diagnostyczne za pośrednictwem liczników sprzętowych i rejestrów debugowych dostępnych za pośrednictwem standardowych interfejsów zarządzania.
Adapter serwerowy Mellanox (NVIDIA) MCX631102AN-ADAT stanowi podstawowy blok budowlany dla nowej generacji architektury centrów danych.Umożliwiając komunikację opartą na RDMA/RoCE przy gęstościach 25GbE, rozwiązanie to zapewnia:
- 80-90% redukcja kosztów ogólnych procesora związanych z siecią, umożliwiające konsolidację serwerów i obniżenie kosztów licencji
- Poziom opóźnienia poniżej 10 mikrosekunddla komunikacji między serwerami, umożliwiającej nowe klasy rozproszonych aplikacji
- Liniowe skalowanie przepustowościz wielkością klastra, eliminując tradycyjne wąskie gardła sieci
- Inwestycje zabezpieczone na przyszłośćz kompatybilnością między wieloma generacjami infrastruktury serwera i pamięci masowej
Organizacje rozważające wdrożenie mogą uzyskać szczegółowe informacje o cenie MCX631102AN-ADAT i konsultacje techniczne od autoryzowanych partnerów NVIDIA Mellanox.Udowodniona architektura rozwiązania i szerokie wsparcie ekosystemu sprawiają, że jest to preferowany wybór dla przedsiębiorstw przechodzących na modele obliczeniowe oparte na danych.