Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Techniczna Biała Księga Adaptera Serwerowego

Niniejsza dokumentacja techniczna skierowana jest do architektów sieci, inżynierów przedsprzedażowych i menedżerów operacyjnych.Mellanox (NVIDIA Mellanox) MCX623106AN-CDATW artykule omówiono projektowanie architektoniczne, kluczowe cechy techniczne, funkcjonalność sieci i funkcjonalność sieci.strategii wdrażania i skalowania, a także operacje i monitorowanie, zapewniające praktyczne wytyczne dotyczące realizacji w rzeczywistości.

Współczesne centra danych stoją przed trzema głównymi wyzwaniami: procesor staje się wąskim gardłem sieci, nadmierne opóźnienie dostępu do pamięci masowej i niekontrolowane koszty komunikacji dla rozproszonych aplikacji.Tradycyjny stos protokołu TCP/IP zużywa ponad 30% zasobów CPU na przetwarzanie protokołu i kopiowanie danych podczas dużej komunikacji równoległejW tym samym czasie aplikacje takie jak NVMe over Fabrics, rozproszone ramy uczenia maszynowego (np. NCCL),i bazy danych w pamięci wymagają opóźnienia od końca do końca poniżej 20 mikrosekundPotrzebne jest natychmiastowe rozwiązanie, które obejdzie jądro i zapewni transport na poziomie sprzętowym.MCX623106AN-CDATw połączeniu z rozwiązaniami technologicznymi RoCE.

Rozwiązanie to przyjmuje topologię dwuskalową Spine-Leaf.NVIDIA Mellanox MCX623106AN-CDATAdapter Ethernet. Przełączniki Leaf są skonfigurowane do bezstratnej operacji RoCE, umożliwiając PFC (Priority Flow Control) i ECN (Explicit Congestion Notification),z dedykowaną kolejką priorytetową przydzieloną dla ruchu RoCEGłówne zasady projektowania obejmują:

• Oddzielenie płaszczyzn sterowania i danych: Przepływy danych RoCE są przetwarzane w całości przez sprzęt na adapterze, podczas gdy protokoły sterowania (np. ARP, DHCP) nadal podążają tradycyjną ścieżką.
• Tkanina zjednoczona: Ethernet przenosi zarówno standardowy ruch TCP/IP, jak i ruch RoCE, przy czym izolacja QoS jest osiągana poprzez oznakowanie DSCP.
• Zarządzanie zatłoczeniami od końca do końca: oparte na algorytmie DCQCN, ustanawiającym mechanizm sprzężenia zwrotnego zamkniętego między adapterami źródła i przełącznikami.

W sprawieKarta adaptera MCX623106AN-CDAT EthernetJego podwójny port 100GbE może łączyć się z różnymi przełącznikami Leaf w celu redundancji lub zapewnienia fizycznej izolacji pomiędzy przepływem danych i przepływem danych.

Jako podstawowy element płaszczyzny danych tego rozwiązania,MCX623106AN-CDAT ConnectX adapter PCIe karta sieciowazapewnia następujące decydujące zdolności:

• Silnik RoCE z wyładowaniem sprzętu: obsługuje przetwarzanie warstwy transportowej (segmentacja, ponowne montaż, potwierdzenie, retransmisja) bez interwencji hosta CPU.
• Dynamiczne wyładowania ConnectX: Automatycznie dystrybuuje ruch wielowzwojowy, zwiększając przepustowość na serwerach wielocore.
• Interfejs PCIe 4.0 x16: teoretyczna przepustowość 256 Gb/s, zapewniająca brak wąskich gardła w zakresie przekazywania linii.
• Zaawansowane odpływy z magazynu: Wspiera przyspieszenie sprzętowe dla NVMe przez tkaniny, w tym wyszukiwanie przestrzeni nazw i kontrole integralności danych.

Zgodnie zArkusz danych MCX623106AN-CDATi publicznie dostępneSpecyfikacje MCX623106AN-CDAT, adapter ten osiąga opóźnienie port-to-port poniżej 600 nanosekund i obsługuje prędkości przetwarzania pakietów do 200 milionów pakietów na sekundę.Cena MCX623106AN-CDATjest wysoce konkurencyjny wśród porównywalnych adapterów 100GbE RoCE, orazMCX623106AN-CDAT na sprzedażPrzed wyborem zaleca się potwierdzenie, że modele serwerów pojawiają się na stronie internetowej.Kompatybilny z MCX623106AN-CDATWszystkie główne platformy OEM zostały zweryfikowane.

Typowy opis topologii:
Architektura Clos składająca się z 2 przełączników Spine i 4 przełączników Leaf.MCX623106AN-CDAT, z obydwoma portami 100GbE podłączonymi do dwóch różnych przełączników Leaf.

Kroki wdrożenia:

• Krok 1: Fizyczne zainstalowanieMCX623106AN-CDATw gniazdo PCIe 4.0 x16, a następnie zainstalować najnowszy firmware i sterownik NVIDIA MLNX_OFED.
• Krok 2: Na przełącznikach skonfigurować PFC (zalecany priorytet 3) i ECN (ustawić Kmin/Kmax) dla ruchu RoCE.
• Krok 3: W systemie operacyjnym włączyć tryb RoCEv2 i skonfigurować parametry DCQCN (wartości początkowe: α=1, β=1, okres czasowy 100μs).
• Krok 4: Użyj narzędzi ib_write_bw i ib_write_lat do weryfikacji wartości bazowej wydajności.

Zalecenia dotyczące skalowania:W przypadku skalowania klastra powyżej 500 węzłów należy rozważyć włączenie tabeli PPC i mapowania QoS adaptera oraz użycie wielu priorytetów RoCE w celu uniknięcia blokowania głowy linii.

Zespoły operacyjne mogą wykorzystać następujące narzędzia do monitorowania stanuMCX623106AN-CDAT rozwiązanie karty adaptera Ethernet:

• / mlxfwmanager: Konfiguracja parametrów oprogramowania i zarządzanie aktualizacjami oprogramowania.
• etol -S: Zobacz liczniki nadawania/odbierania RoCE i liczbę klatek PFC.
• ibdiagnet: Wykonywanie kompleksowej diagnostyki sieci RoCE w celu wykrycia niepotrzebnych burz PFC.
• Telemetria i HIST: Wykorzystaj wbudowane historyczne tabele rozkładu opóźnienia na adapterze do identyfikacji anomalii opóźnienia ogona.

Powszechne rozwiązywanie problemów:

• Przepustowość poniżej oczekiwań: sprawdź status negocjacji PCIe (powinno być Gen4 x16) i upewnij się, że MTU jest jednolicie ustawione na 9000 ram jumbo.
• Utrata połączenia RoCE: sprawdź odwzorowanie DSCP i konfigurację VLAN, upewniając się, że przełącznik nie odbiera pakietów oznaczonych RoCE.
• Duże zużycie procesora: może to oznaczać, że wyładowanie sprzętu nie jest włączone; sprawdź ustawienia wyładowania narzędzia.

Zalecenia dotyczące optymalizacji:W przypadku zastosowań bardzo wrażliwych na opóźnienie (np. handel wysokiej częstotliwości, replikacja dziennika RDMA),rozważyć zmianę typu usługi RoCE z "połączony" na "datagram" i wyłączenie kontroli zatłoczenia.

Rozwiązanie RDMA/RoCE oparte naMCX623106AN-CDATzmniejsza opóźnienie od końca do końca dla rozproszonych aplikacji o rząd wielkości (od setek mikrosekund do dziesiątek mikrosekund) bez zastępowania istniejącej infrastruktury Ethernet,jednocześnie uwalniając 20~30% zasobów obliczeniowych CPU. W przypadku scenariuszy takich jak szkolenie AI, hiperkonwergencyjne przechowywanie i analityka w czasie rzeczywistym, przekłada się to bezpośrednio na krótsze czasy zakończenia pracy i większą gęstość serwerów.MCX623106AN-CDAT rozwiązanie karty adaptera Ethernet, pokazuje, że "bez strat Ethernet + inteligentny NIC" jest realną drogą do osiągnięcia zarówno wysokiej przepustowości, jak i niskiego opóźnienia.Arkusz danych MCX623106AN-CDAT, proszę zapoznać się z oficjalną dokumentacją NVIDIA lub skontaktować się z zespołem architektury rozwiązań.