NVIDIA Mellanox MCX623106AN-CDAT Server Adapter Techniczne rozwiązanie
June 10, 2026
Ta techniczna księga zawiera kompleksowe rozwiązania, które zapewniają architektom sieci, inżynierom przedsprzedaży i zespołom operacyjnymNVIDIA Mellanox MCX623106AN-CDATZajmujemy się tym, jak osiągnąć deterministyczną niską opóźnienie i zmaksymalizować przepustowość serwera przy użyciu RDMA/RoCE w nowoczesnych środowiskach centrów danych.
1. Analiza tła i wymagań projektu
Tradycyjne stosy TCP/IP wprowadzają znaczące koszty operacyjne, kopie pamięci i przełączanie kontekstu, które ograniczają wydajność aplikacji, zwłaszcza dla rozproszonych baz danych NVMe-oF,i klastry szkoleniowe w zakresie sztucznej inteligencjiKluczowe wymagania dotyczące infrastruktury nowej generacji obejmują:
- Poziom opóźnienia od końca do końca poniżej 10 μs do przechowywania i analizy w czasie rzeczywistym
- Przechodzenie procesora do wolnych rdzeni dla logiki biznesowej (cel: <20% wykorzystania procesora związanego z siecią)
- Tkanina Ethernet bez strat obsługująca PFC i ECN w topologiach 100GbE leaf-spine
- szyfrowanie w sieci bez pogorszenia wydajności (IPsec/TLS)
- Bezproblemowa integracja z istniejącymi ramami automatyzacji (Ansible, Terraform)
2Ogólna architektura sieci i systemu
Architektura referencyjna przyjmuje topologię dwustopniowego leaf-spine z portami 100GbE. Każdy węzeł obliczeniowy/magazynowy jest wyposażony wMCX623106AN-CDAT ConnectX adapter PCIe karta sieciowaKluczowe elementy projektowania:
- Przełączniki leaf: skonfigurowane z 4MB wspólnym buforem, priorytetami PFC 3 (przechowywanie) i 4 (przemieszczanie sztucznej inteligencji), próg oznaczania ECN przy głębokości kolejki 200KB
- Przełączniki kręgosłupa: tkanina bez blokowania 12,8Tbps, współczynnik przesyłania 3: 1 (optymalizowany dla wzorców wschód-zachód)
- Konfiguracja hosta: PCIe 4.0 x16 (lub PCIe 5.0 w razie potrzeby), pamięć firmware 256 MB na adapter
- Transport RDMA: RoCEv2 z DCQCN, 4K MTU, dane w linii do 256 bajtów
W sprawieMCX623106AN-CDAT rozwiązanie karty adaptera Ethernetobsługuje do 1024 funkcji wirtualnych (VF) i 256 funkcji fizycznych (PF), co czyni go idealnym rozwiązaniem do NFV i obciążeń pracy w kontenerach.
3. Rola NVIDIA Mellanox MCX623106AN-CDAT i kluczowe cechy
W sprawieNVIDIA Mellanox MCX623106AN-CDATSłuży jako silnik płaszczyzny danych, wyładowując cały przetwarzanie sieci z hosta CPU.Arkusz danych MCX623106AN-CDATi urzędnikSpecyfikacje MCX623106AN-CDAT, krytyczne zdolności obejmują:
| Cechy | Korzyści dla RDMA/RoCE |
|---|---|
| System sterowania sprzętowego (ASAP2) | Bezpośrednie przesyłanie pakietów do określonych kolejek zero interwencji procesora |
| Zarządzanie zatłoczeniami RoCE na układzie | DCQCN wdrożone w oprogramowaniu stacjonarnym 100ns granularity odpowiedzi |
| GPUDirect® RDMA | Dostęp do pamięci GPU pomijający pamięć hosta 2μs redukcja opóźnienia |
| Przyspieszenie VirtIO | Natywne osiągi dla sieci VM/container |
W sprawieKarta adaptera MCX623106AN-CDAT Ethernetobejmuje również bezpieczne szyfrowanie uruchamiania i flash, spełniające rygorystyczne zasady bezpieczeństwa dla sektorów finansowych i rządowych.
4Zalecenia dotyczące rozmieszczenia i rozszerzenia
W przypadku wdrożeń w obszarze brązowym, adapter jest w pełniKompatybilny z MCX623106AN-CDATz istniejącymi przełącznikami 100GbE (broadcom, Mellanox, Cisco) po uaktualnieniu oprogramowania układowego.
- Faza 1 (walidacja laboratoryjna):Dwa węzły pamięci masowej + dwa węzły obliczeniowe, włączenie PFC i ECN na port, zatwierdzenie za pomocą ib_write_bw (cel przepustowości 98Gb/s na port)
- Faza 2 (pilota):Jeden pełny rack (40 węzłów), wdrożenie DCQCN z progami ECN: min=150KB, max=500KB
- Etap 3 (rozszerzenie skali):Wielokrotne stoisko z warstwą kręgosłupa, monitorowanie globalnych ram przerwy PFC (trzymanie < 0,1% całkowitego ruchu)
W celu rozszerzenia adapter obsługuje agregację łącza (LAG) i adaptacyjne trasowanie (AR), gdy jest używany z przełącznikami NVIDIA Spectrum.Środowiska o mieszanej prędkości (100GbE do 25GbE) wymagają rezerwacji buforów w portach wyjścia.
5. Operacje, monitorowanie i rozwiązywanie problemów
NVIDIA DOCA Framework zapewnia kompleksową telemetrię.
- Liczyciele w kolejce:rdma_out_of_sequence, cnp_sent, cnp_received (za pośrednictwem narzędzia -S)
- Zdrowie PCIe:Błędy można/nie można skorygować, negocjacja prędkości połączenia (narzędzie mlxlink)
- Wykrycie korków:Czasomierze monitorujące PFC, współczynnik pakietów oznaczony ECN (cel <5%)
Powszechne rozwiązywanie problemów: Jeśli wydajność RoCE spadnie poniżej 80Gb/s, zweryfikuj bifurkację PCIe (musi być x16), wyłącz TSO/GRO i potwierdź progi ECN przełącznika.Cena MCX623106AN-CDAT, rozwiązanie zazwyczaj osiąga zwrot z inwestycji w ciągu 9-12 miesięcy poprzez konsolidację liczby serwerów.
6Podsumowanie i ocena wartości
W sprawieNVIDIA Mellanox MCX623106AN-CDATdostarcza deterministyczną strukturę o niskim opóźnieniu przy jednoczesnym zmniejszeniu kosztów CPU o do 75% w porównaniu z sieciami opartymi na oprogramowaniu.kroki wdrożenia, oraz najlepszych praktyk operacyjnych.MCX623106AN-CDAT na sprzedażW celu uzyskania pełnego odniesienia, urzędnikArkusz danych MCX623106AN-CDATi szczegółoweSpecyfikacje MCX623106AN-CDATsą dostępne na żądanie.