Mellanox (NVIDIA Mellanox) MCX556A-ECAT Serwer NIC Rozwiązanie techniczne

June 9, 2026

Mellanox (NVIDIA Mellanox) MCX556A-ECAT Serwer NIC Rozwiązanie techniczne

Niniejsza biała księga zapewnia architektom sieci, inżynierom ds. przedsprzedaży i liderom operacyjnym kompleksowe ramy techniczne umożliwiające wdrażanieMellanox (NVIDIA Mellanox) MCX556A-ECATkarta sieciowa serwera. Rozwiązanie koncentruje się na eliminacji wąskich gardeł protokołu TCP/IP poprzez RDMA/RoCE, zapewniając deterministyczną komunikację o niskim opóźnieniu, jednocześnie maksymalizując przepustowość serwera w przypadku obciążeń wymagających dużej ilości danych.

1. Analiza tła projektu i wymagań

Nowoczesne środowiska centrów danych — w tym klastry szkoleniowe AI, rozproszone bazy danych, infrastruktura hiperkonwergentna i platformy transakcyjne o wysokiej częstotliwości — mają wspólne ograniczenie: tradycyjny stos sieciowy zużywa 30–50% cykli procesora na kopie pamięci, przełączanie kontekstu i przetwarzanie protokołów. W miarę jak prędkość łącza wzrasta do 100 Gb/s i więcej, sieci oparte na oprogramowaniu stają się niezrównoważone. Kluczowe wymagania dotyczące łączności serwerów nowej generacji obejmują: opóźnienia między węzłami poniżej 5 mikrosekund, obciążenie procesora poniżej 10% na łącze 100 Gb/s, bezstratny transport dla protokołów pamięci masowej (NVMe-oF) oraz bezproblemową integrację z istniejącą infrastrukturą Ethernet. TheRozwiązanie w postaci karty adaptera Ethernet MCX556A-ECATbezpośrednio odpowiada na te żądania.

2. Ogólny projekt architektury sieci/systemu

Zalecana architektura wdraża platformęNVIDIA Mellanox MCX556A-ECATjako dwuportowy adapter 100GbE w każdym węźle obliczeniowym lub magazynowaniu. Rozwiązanie wykorzystuje dwuwarstwową topologię typu „liść grzbietu” z obsługą RoCE (RDMA over Converged Ethernet). Kluczowe decyzje architektoniczne obejmują:

  • Podstawa bezstratnego Ethernetu: Włącz priorytetową kontrolę przepływu (PFC) na portach przenoszących ruch RoCE i skonfiguruj progi ECN (Explicit Congestion Notification) na przełącznikach liściowych.
  • Odrębne klasy ruchu: Przypisz ruch RoCE do dedykowanej kolejki priorytetowej (zwykle 3 lub 5) ze ścisłym harmonogramem priorytetów.
  • Zarządzanie buforem: Przydziela pule współdzielonych buforów na przełącznikach zgodnie zSpecyfikacje MCX556A-ECAT(zalecane 4 MB na port w celu zapewnienia bezstratnej pracy).

KażdyMCX556A-ECAT Adapter ConnectX Karta sieciowa PCIełączy się z przełącznikiem liściowym poprzez optykę QSFP28 (SR4, LR4 lub AOC/DAC w zależności od odległości). Aby zapewnić wysoką dostępność, konfiguracje z podwójnym bazowaniem łączą oba porty — aktywny-aktywny w celu zapewnienia przepustowości lub aktywny-tryb gotowości w przypadku przełączania awaryjnego. Płaszczyzna sterowania wykorzystuje standardowy Ethernet i IP, podczas gdy płaszczyzna danych wykorzystuje RDMA do transferów bez kopiowania.

3. Rola i kluczowe cechy Mellanox (NVIDIA Mellanox) MCX556A-ECAT w rozwiązaniu

TheMCX556A-ECATsłuży jako krytyczny silnik odciążający pamięć serwera i strukturę sieci. Transport oparty na sprzęcie eliminuje zaangażowanie jądra w przenoszenie danych. Kluczowe możliwości wyodrębnione zArkusz danych MCX556A-ECATwłączać:

Funkcja Opis Korzyść
RDMA i RoCE v2 Sprzętowy zdalny, bezpośredni dostęp do pamięci poprzez konwergentną sieć Ethernet Zerowe zaangażowanie procesora; Opóźnienie sprzętowe poniżej 1 µs
Odciążanie NVMe-oF Pełne odciążenie przetwarzania poleceń NVMe/TCP i NVMe/RDMA Umożliwia współdzieloną, zdezagregowaną pamięć masową z lokalną wydajnością
GPUDirect Komunikacja peer-to-peer pomiędzy procesorem graficznym a pamięcią karty sieciowej Eliminuje pośrednią pamięć systemową na potrzeby szkolenia AI

TheKarta adaptera Ethernet MCX556A-ECATobejmuje również zaawansowane sterowanie (klasyfikacja przepływu na 128 wirtualnych kolejek), SR-IOV z maksymalnie 512 funkcjami wirtualnymi i sprzętowe odciążanie timera dla protokołu precyzyjnego czasu (PTP). Dzięki tym funkcjom jest to kompletny silnik przyspieszający ścieżkę danych, a nie tylko szybki interfejs.

4. Zalecenia dotyczące wdrożenia i skalowania (typowa topologia)

W przypadku klastra średniej wielkości (64–256 węzłów) zalecana jest następująca topologia:

  • Warstwa liści: Dwa lub cztery 48-portowe przełączniki 100GbE RoCE (np. NVIDIA SN3700). Każdy liść łączy się z 24–48 serwerami, przy czymKompatybilny z MCX556A-ECATPorty QSFP28.
  • Warstwa kręgosłupa: Cztery 32-portowe przełączniki 400GbE zapewniające 128 nieblokujących łączy nadrzędnych 100GbE z liści.
  • Konfiguracja serwera: JedenMCX556A-ECATna serwer, port A do przełącznika liścia A, port B do przełącznika liścia B. Daje to łączną przepustowość 200 Gb/s i redundancję ścieżki.

Skalowanie struktury powyżej 256 węzłów wymaga dodania par liść-grzbiet lub migracji do 3-stopniowej architektury Clos. Podczas ocenianiaCena MCX556A-ECATwzględem przyszłej wydajności, biorąc pod uwagę fakt, że adapter jestKompatybilny z MCX556A-ECATz płytami głównymi PCIe 4.0 (początkowo działającymi w formacie 3.0 x16), oferując prostą ścieżkę aktualizacji.

5. Operacje, monitorowanie, rozwiązywanie problemów i optymalizacja

Doskonałość operacyjna wdrożeń RoCE wymaga specjalnego monitorowania i dostrajania. Kluczowe praktyki obejmują:

  • Liczniki monitorowania: Używaćethtool -S ethX | grep -E "roce|pfc|ecn"do śledzenia priorytetowych ramek pauzy i CNP (pakietów powiadamiania o przeciążeniu). TheSpecyfikacje MCX556A-ECATudokumentować oczekiwane wartości bazowe.
  • Strojenie bufora: Skonfiguruj bufory wyjściowe przełącznika na 4–6 MB dla kolejek RoCE. Niewystarczające bufory powodują burze PFC i załamanie przepustowości.
  • Zarządzanie oprogramowaniem: Korzystaj z najnowszego oprogramowania sprzętowego (dostępnego w portalu wsparcia korporacyjnego NVIDIA), aby wyeliminować błędy i uzyskać ulepszenia wydajności udokumentowane wArkusz danych MCX556A-ECAT.
  • Bazowa wydajność: Uruchomićib_write_bwIib_read_latz zestawu narzędzi OFED. Oczekiwane wyniki: 98–99 Gb/s w trybie dwukierunkowym z opóźnieniem 0,8–1,2 µs dla wiadomości 8-bajtowych.

Typowe scenariusze rozwiązywania problemów: zakleszczenia PFC (sprawdź, czy nie są źle skonfigurowane mapowania kolejek), trzepotanie łączy (sprawdź parametry zasilania i kabli) oraz przekroczenia limitu czasu połączenia RDMA (zapewnij spójność MTU na poziomie 4200 bajtów dla ramek jumbo). Dla zespołów poszukującychDo sprzedania MCX556A-ECATw celu rozbudowy klastrów wstępne dostosowanie oprogramowania sprzętowego w różnych partiach pozwala uniknąć niespodzianek związanych ze zgodnością.

6. Podsumowanie i ocena wartości

TheMCX556A-ECATzapewnia jasną propozycję wartości dla nowoczesnych centrów danych. Włączając RDMA/RoCE,NVIDIA Mellanox MCX556A-ECATzmniejsza opóźnienia aplikacji 10 razy w porównaniu z protokołem TCP, zmniejsza obciążenie sieci procesora o 85% i odblokowuje dezagregację pamięci masowej za pośrednictwem NVMe-oF. Architektom dwuportowa karta o przepustowości 100GbE zapewnia przyszły zapas mocy; w przypadku zespołów operacyjnych dojrzały stos sterowników (starsze systemy Linux, Windows i VMware) upraszcza zarządzanie. Podczas ocenianiaCena MCX556A-ECATw stosunku do całkowitego kosztu posiadania — obejmującego licencję na oprogramowanie, zasilanie i chłodzenie — koszt adaptera zwykle zwraca się w ciągu 6–12 miesięcy w wyniku konsolidacji serwerów. Niezależnie od tego, czy jest określany jakoKarta adaptera Ethernet MCX556A-ECATLubMCX556A-ECAT Adapter ConnectX Karta sieciowa PCIerozwiązanie to pozostaje projektem referencyjnym dla bezstratnej sieci Ethernet o dużej przepustowości.