NVIDIA Mellanox MCX653106A-HDAT Server Adapter Techniczna księga biała RDMA/RoCE Transport niskiego opóźnienia i przepustowość serwera

September 11, 2026

NVIDIA Mellanox MCX653106A-HDAT Server Adapter Techniczna księga biała RDMA/RoCE Transport niskiego opóźnienia i przepustowość serwera

NVIDIA Mellanox MCX653106A-HDAT Server Adapter Techniczna księga biała

1. Analiza tła i wymagań projektu

Współczesne obciążenia pracą w centrach danych  obejmujące sztuczną inteligencję, obliczenia o wysokiej wydajności (HPC), rozproszone bazy danych,W celu zwiększenia efektywności sieci. Tradycyjne stosy sieciowe oparte na TCP/IP, choć wszechobecne, wprowadzają opóźnienie i koszty CPU, które stają się nieprzewidywalne w skali.rozproszone uczenie maszynowe, a analityka w czasie rzeczywistym wymaga deterministycznego opóźnienia poniżej 5 mikrosekund i przyspieszonego przez sprzęt przemieszczania danych w celu osiągnięcia optymalnej wydajności.

Architekci sieci i kierownicy infrastruktury coraz częściej stosują RDMA nad konwergencyjnym ethernetem (RoCE) jako preferowany transport dla tych krytycznych dla wydajności obciążeń roboczych.skuteczne wdrożenie RoCE zależy od zdolności podstawowego adaptera do obciążania przetwarzania transportu, skutecznie zarządzać zatłoczeniami i bezproblemowo zintegrować z istniejącymi tkaninami Ethernet bez konieczności modernizacji wózków widłowych.i środowisk HPC obejmują::

  • Poziom opóźnienia RDMA od końca do końca poniżej 3 mikrosekund dla aplikacji wrażliwych na opóźnienia, takich jak handel wysokiej częstotliwości i bazy danych w pamięci
  • Łączna przepustowość przekraczająca 100 Gb/s na serwer, służąca obsłudze węzłów pamięci masowej o dużej gęstości i klastrów obliczeniowych przyspieszanych przez GPU
  • Wyładowanie sprzętu dla GPUDirect w celu wyeliminowania kopii pamięci po stronie hosta w obciążeniach AI i HPC
  • Bezstratny transport Ethernet z PFC i ECN dla deterministycznej, bezstronnej wydajności
  • Kompleksowa telemetria i programowalna ścieżka danych do proaktywnego monitorowania i rozwiązywania problemów operacyjnych

W sprawieNVIDIA Mellanox MCX653106A-HDATbezpośrednio odpowiada na te wymagania poprzez zaawansowaną architekturę ConnectX, dostarczającą zaawansowane zarządzanie zatłoczeniami RoCEv2 z przyspieszeniem sprzętowym,i kompleksowe ramy programowalności odpowiednie dla najbardziej wymagających środowisk biznesowych i chmurowych.

2Ogólne projektowanie architektury sieci i systemu

Proponowana architektura rozwiązania wykorzystuje topologię leaf-spine z łącznością 25/50/100GbE na warstwie dostępu serwera.MCX653106A-HDAT ConnectX adapter PCIe karta sieciowaArchitektura składa się z czterech różnych warstw:

  • Obszar obliczeniowy/magazynowy:W sprawieKarta adaptera MCX653106A-HDAT Ethernetłączy się z hosta za pośrednictwem PCIe Gen 4.0 x16dostarczanie do 256 GB/s szerokości pasmowej dwukierunkowego hosta, wystarczającej do pełnego zasycenia podwójnych portów 100GbE, przy jednoczesnym zachowaniu przestrzeni dla dużego ruchu i przyszłych ulepszeń prędkości.
  • Tkanina sieciowa:W przypadku, gdy urządzenie jest wyposażone w urządzenie o dużej pojemności, należy zastosować urządzenie o dużej pojemności, które jest wyposażone w urządzenie o dużej pojemności.Adapter obsługuje maksymalną przepustowość 200 Gb/s z awarią na bazie sprzętu.
  • Poziom transportu RDMA:RoCEv2 z akceleracją sprzętową z pełnym rozładowaniem segmentacji, ponownego montażu, kontroli zatłoczenia i obsługi ukończenia.Adapter obsługuje do 200 milionów wiadomości na sekundę (Mpps) z opóźnieniem poniżej mikrosekundy.
  • Zarządzanie i telemetria:Zarządzanie poza pasmem z pełnym wsparciem Redfish i SNMP, uzupełnione o telemetrię w pasmie w celu monitorowania tkanin w czasie rzeczywistym i optymalizacji wydajności.

Projekt podkreśla konwergencyjną, bezstratną tkaninę Ethernet, w którejNVIDIA Mellanox MCX653106A-HDATsłuży jako punkt końcowy RDMA, umożliwiając bezpośrednie transfery pamięci z pamięci bez interwencji hosta CPU.Kompatybilny z MCX653106A-HDATz istniejącą infrastrukturą przełączania sieci Ethernet, wymagającą jedynie wsparcia PFC i ECN, funkcji powszechnie dostępnych w nowoczesnych przełącznikach centrów danych wszystkich głównych dostawców.

3. Rola i kluczowe cechy NVIDIA Mellanox MCX653106A-HDAT

W sprawieMCX653106A-HDATodgrywa centralną rolę w architekturze, dostarczając cztery odrębne warstwy wartości, które łącznie umożliwiają sieci o niskim opóźnieniu i wysokiej przepustowości:

A. Silnik RDMA przyspieszony sprzętem
Adapter integruje w pełni programowalny rurociąg przetwarzania pakietów, który rozładowuje operacje transportowe RoCEv2 w tym segmentację, ponowne montaż, kontrolę zatłoczenia,i obsługa zakończenia całkowicie z hosta CPUZgodnie zArkusz danych MCX653106A-HDAT, sprzęt obsługuje wydajność przewodów w każdym rozmiarze pakietów, z maksymalną szybkością przesyłania wiadomości 200 Mpps i opóźnieniem od końca do końca poniżej mikrosekundy.

B. GPUDirect & NVMe-oF Wyładowania
Kluczowy czynnik odróżniającyMCX653106A-HDATjest zintegrowaną obsługą GPUDirect,umożliwienie bezpośredniego przepływu danych pomiędzy pamięcią GPU a interfejsem sieciowym bez kopii po stronie hosta, eliminując krytyczny wąski gardło w rozproszonym szkoleniu AIW przypadku obciążeń pracy magazynowania adapter wyładowuje operacje NVMe-oF,przekształcenie standardowego ethernetu w wysokiej wydajności układ pamięci masowej z charakterystyką opóźnienia, dotychczas osiągalną tylko z dedykowanym InfiniBand.

C. Zaawansowana jakość obsługi i zarządzanie zatłoczeniami
Adapter zapewnia priorytetyzację według klasy ruchu z obsługą ścisłego priorytetu, ważonego uczciwego kolejkowania i ograniczania stawek.Produkcja PFC, oraz możliwości dostosowywania trasy, wszystkie konfigurowalne za pomocąSpecyfikacje MCX653106A-HDAT.

D. Bezpieczeństwo i programowalność
Adapter zawiera wiarygodny rodzaj sprzętu, bezpieczne uruchamianie, zakodowane aktualizacje oprogramowania i bezpieczne interfejsy zarządzania.umożliwiające niestandardowe rozładowywanie i zbieranie telemetrii sieci w zakresie pasma (INT) dla zaawansowanej widoczności operacyjnej.

4. Zalecenia dotyczące wdrażania i skalowalności

Typowa topologia wdrażania

Zalecane wdrożenie jest zgodne z topologią "spine-leaf" z następującą konfiguracją:

  • Przełączniki liści:25/50/100GbE przełączniki ToR z obsługą RoCEv2, skonfigurowane z PFC na dedykowanych kolejkach priorytetowych (zwykle jeden lub dwa priorytety) i ECN do sygnalizacji zatłoczenia.Zalecane są ramy Jumbo (MTU 9000) dla optymalnej wydajności RoCE.
  • Węzły serwera:Każdy węzeł wyposażonyMCX653106A-HDAT, podłączony za pośrednictwem podwójnego homingowania do głównych i wtórnych przełączników liści w celu redundancji.
  • Warstwa kręgosłupa100/400GbE spine switches zapewniające bezblokową łączność między rackami z wystarczającą pojemnością buforową do absorpcji mikro-wybuchów w wielu rackach.
  • Integracja pamięci masowej/przetwarzania:Dla wdrożeń NVMe-oF, węzły docelowe używają tego samego typu adaptera dla spójnych możliwości RDMA.wsparcie GPUDirect w adapterze jest wykorzystywane do synchronizacji gradientów między GPU.

Rozważania dotyczące skalowalności

  • Domeny zatłoczenia:Podział tkaniny na wiele stref zarządzania zatłoczeniem (np. na półkę lub klaster) w celu ograniczenia rozprzestrzeniania się PFC.Ograniczanie prędkości dostosowującego na port pomaga w izolowaniu hałaśliwych sąsiadów i utrzymaniu sprawiedliwej alokacji przepustowości.
  • Orkiestracja Integracja:Adapter jest w pełni obsługiwany przez Kubernetes (za pośrednictwem operatora sieci NVIDIA) i OpenStack, umożliwiając zautomatyzowane zapewnianie i zarządzanie cyklem życia w środowiskach w skali chmury.
  • Zapewnienie przyszłości:W sprawieMCX653106A-HDATobsługuje 100GbE i wyższe prędkości, zapewniając przestrzeń do przyszłych ulepszeń sieci bez wymiany adaptera.Interfejs 0 zapewnia również kompatybilność z platformami serwerowymi nowej generacji.

W przypadku organizacji oceniającychCena MCX653106A-HDAT, całkowity koszt posiadania powinien obejmować oszczędności wynikające z wyeliminowania dedykowanych sieci pamięci masowej, zmniejszenia alokacji rdzeni CPU (zwykle odzyskiwanie 4-6 rdzeni na serwer),i efektywności operacyjnej z jednolitego zarządzania tkaninami.

5. Operacje, monitorowanie, rozwiązywanie problemów i optymalizacja

Ramy monitorowania

Rozwiązanie obejmuje wieloetapowe podejście do obserwacji:

  • Telemetria na poziomie adaptera:W sprawieMCX653106A-HDATkluczowe metryki obejmują przepustowość na port, ramki przerwy PFC, oznaczone pakiety ECN, zdarzenia zagrożenia RoCEv2,Statystyki kolejki zakończenia RDMA, oraz histogramy opóźnienia przepływu.
  • Widoczność na poziomie tkaniny:Integracja z zunifikowaną platformą zarządzania NVIDIA zapewnia wizualizację topologii, analizę ścieżki przepływu i wykrywanie anomalii w całej tkance.
  • Korrelacja zastosowań:Adapter zapewnia statystyki kolejkowe i kolejkowe zakończenia RDMA, umożliwiając precyzyjną korelację wydajności sieci z opóźnieniem transakcji na poziomie aplikacji.

Powszechne sposoby rozwiązywania problemów

W oparciu o doświadczenie operacyjneNVIDIA Mellanox MCX653106A-HDAT, zidentyfikowane są następujące schematy diagnostyczne:

  • Wykrycie burzy PFC:monitorowanie liczników klatek PFC w celu przerwy według priorytetów Sprawdź źródło przy użyciu liczników wykorzystania buforu w kolejce adaptera.
  • RoCEv2 Packet Drops:Sprawdź liczniki upadku adaptera (rx_discard, tx_discard) i skoreluj z pakietami oznaczonymi ECN, aby odróżnić upadki na poziomie adaptera i ograniczenie na poziomie tkaniny.
  • Dostrajanie wydajności:Ustawić parametry koalesowania przerywania w celu zrównoważenia opóźnienia w stosunku do wykorzystania procesoraArkusz danych MCX653106A-HDATzawiera szczegółowe wskazówki dotyczące wszystkich parametrów nadających się do regulacji.

Wytyczne dotyczące optymalizacji

W celu osiągnięcia maksymalnej przepustowości i minimalnego opóźnieniaRozwiązanie karty adaptera MCX653106A-HDAT Ethernet, zaleca się następujące optymalizacje:

  • Umożliwienie tworzenia systemu CRC sprzętowego, rozdzielania obciążeń nagłówkiem/dane i skalowania po stronie odbioru (RSS) w celu efektywnego rozprowadzania ruchu między wieloma rdzeniami procesora
  • Dynamicznie konfigurować progi PFC w zależności od priorytetu przy użyciu narzędzi konfiguracji buforów specyficznych dla producenta adaptera, w oparciu o obserwowane profile obciążenia pracą
  • Włączenie zaawansowanych funkcji QoS adaptera, w tym ograniczanie szybkości w zależności od klasy ruchu i ściśle priorytetowe lub ważone fair queuing
  • W przypadku wdrożeń na dużą skalę, wykorzystuj wsparcie adaptera dla 802.1Qaz DCBX do automatyzacji negocjacji PFC i ECN za pomocą przełączników
  • Wykorzystanie programowalnej ścieżki danych adaptera w celu wdrożenia niestandardowego zbierania danych telemetrycznych lub specjalistycznego przetwarzania pakietów dostosowanych do specyficznych wymagań aplikacji

6Podsumowanie i ocena wartości

Rozwiązanie techniczne koncentruje się naMCX653106A-HDATOd NVIDIA Mellanox zapewnia jasną drogę do osiągnięcia opóźnienia RDMA poniżej 3 mikrosekund i łącznej przepustowości przekraczającej 100 Gb/s na serwer.Karta adaptera MCX653106A-HDAT Ethernetsłuży jako podstawowy blok budowlany dla nowoczesnych, zbieżnych tkanin centrów danych, które jednocześnie obsługują szkolenia AI, HPC, magazyn korporacyjny i obciążenia analityczne w czasie rzeczywistym.

Kluczowe propozycje wartości obejmują:

  • Konsolidacja infrastruktury:Wyeliminuje potrzebę oddzielnych sieci pamięci masowej i obliczeniowej poprzez umożliwienie bezstratnego Ethernet dla wszystkich rodzajów ruchu, zmniejszając zarówno koszty inwestycyjne, jak i operacyjne
  • Przywództwo w zakresie wydajności:RoCEv2 z GPUDirect zapewnia deterministyczną opóźnienie poniżej mikrosekundy nawet pod 90% + wykorzystania linii. Krytyczne dla szkolenia AI, analizy w czasie rzeczywistym,i handlu wysokiej częstotliwości
  • Efektywność operacyjna:Kompleksowa telemetria, zarządzanie zatłoczeniami samoregulującymi się i automatyczna integracja orkiestry zmniejszają średni czas do rozwiązania (MTTR) i koszty operacyjne
  • Ochrona inwestycji:Interfejs PCIe Gen 4.0 adaptera, programowalność i wsparcie portów wielostronnych zapewniają kompatybilność z przyszłymi generacjami procesorów i szybszymi tkaninami sieciowymi

Dla organizacji aktywnie oceniającychMCX653106A-HDAT na sprzedażOpcje, rozwiązanie to oferuje sprawdzoną architekturę referencyjną zatwierdzoną w środowiskach produkcyjnych w usługach finansowych, dostawcach chmury, służbie zdrowia i instytucjach badawczych.Połączenie wydajności, skalowalność i dojrzałość operacyjnaNVIDIA Mellanox MCX653106A-HDATInwestycja strategiczna dla każdej organizacji zaangażowanej w budowę wysokiej wydajności, gotowej do przyszłości infrastruktury centrum danych.