NVIDIA Mellanox MCX631432AN-ADAB Rozwiązanie techniczne: RDMA/RoCE Low-Latency Transport & Server Throughput Elevation

Niniejsza książka techniczna skierowana jest do architektów sieci, inżynierów przedsprzedażowych i kierowników operacyjnych.NVIDIA Mellanox MCX631432AN-ADABadapter serwera umożliwia transport o niskiej opóźnieniu oparty na RDMA / RoCE i znacznie poprawia przepustowość serwera w nowoczesnych środowiskach centrów danych.

Konwencjonalne sieci TCP/IP wymagają znaczących kosztów CPU z powodu przetwarzania protokołu, kopiowania danych i obsługi przerw.Wraz ze wzrostem gęstości serwerów i zastosowań takich jak rozproszone przechowywanie (Ceph, vSAN), bazy danych w pamięci (Redis, Aerospike) i ramy szkoleniowe AI wymagają jednomierzowego czasu opóźnienia mikrosekundy, tradycyjne stosy sieci stają się nie do pokonania wąskich gardłach.Kluczowe wymagania obejmują:: opóźnienie dostępu do pamięci masowej poniżej 300 μs, wykorzystanie CPU poniżej 10% do przetwarzania sieci, przepustowość linii 25GbE na port i bezproblemowa integracja z istniejącą infrastrukturą przełączania z możliwością RoCE.

Proponowana architektura przyjmuje topologię nieblokowania kręgosłupa z obsługą RoCE v2. Każdy węzeł obliczeniowy lub pamięci masowej jest wyposażony w迈络思 ((NVIDIA Mellanox) MCX631432AN-ADABadapter, łączący się z przełącznikami liści poprzez optykę 25GbE SFP28.Płaszczyzna sterowania wykorzystuje PFC (Priority Flow Control) tylko w kolejkach z priorytetem strat., podczas gdy płaszczyzna danych RDMA wykorzystuje RoCE v2 z routingiem IP do przekraczania granic warstwy-3.

W sprawieKarta adaptera Ethernet MCX631432AN-ADABJest to punkt końcowy krytyczny dla rozładunków RDMA.MCX631432AN-ADAB ConnectX-6 Lx podwójny port 25GbE SFP28W porównaniu z oprogramowaniem iWARP lub jądrem TCP, adapter zmniejsza opóźnienie o ponad 70%.Dla architektów odwołujących sięArkusz danych MCX631432AN-ADAB, kluczowe wyładowania obejmują:

• RoCE v2 wyładowanie sprzętu:Zero kopii przesyłu danych, opóźnienie poniżej 600ns.
• FlexFlow sterujące:Programowalny analizator pakietów do granularnej dystrybucji przepływu.
• Inline krypto silniki:IPsec/TLS przy prędkości linii bez zaangażowania procesora.
• Telemetria i oznakowanie ECN:W czasie rzeczywistym widoczność zatłoczenia poprzez liczniki SPIFFY.

Przy ocenieSpecyfikacje MCX631432AN-ADAB, należy zauważyć, że karta obsługuje prędkości zarówno 25GbE, jak i 10GbE, co umożliwia stopniową migrację.Kompatybilny z MCX631432AN-ADABEcosystem obejmuje wszystkich głównych dostawców serwerów, uproszczając kwalifikacje.

Typowa topologia dwupoziomowa dla klastra 500 węzłów: każdy rack zawiera 20 serwerów, każdy wyposażony w jedenNVIDIA Mellanox MCX631432AN-ADABŁączniki Leaf łączą się z serwerami za pośrednictwem kabli 25GbE SFP28 DAC (do 5m) lub optyki AOC na dłuższe odległości.Warstwa kręgosłupa wykorzystuje 100GbE do utrzymania 4Dla ruchu pamięci masowej, poświęć jeden port na adapter do ruchu Ceph z RoCE, rezerwując drugi port dla obciążeń obliczeniowych.Skalizacja powyżej 2000 węzłów wymaga trójpoziomowego projektu super-spina, z BGP-EVPN dla propagowania trasy RoCE.Rozwiązanie karty adaptera Ethernet MCX631432AN-ADABwytyczne dotyczące szczegółowych macierzy okablowania i budżetowania mocy.

Po wdrożeniu, zespoły operacyjne powinny umożliwić NVIDIAmlx5ctla takżeetolkluczowe metryki monitorowania: przerwy w transmisji RoCEv2 (wskazujące burze PFC), wskaźniki pakietów oznaczone ECN i odczyty termiczne adaptera.potwierdzić, żeParametry DCQCN(alfa, beta i współczynnik redukcji prędkości) wyrównują się z profilami buforów przełącznika.Arkusz danych MCX631432AN-ADABWykorzystanie automatycznych skryptów do okresowego dumpingu/sys/class/infiniband/mlx5_*/porty/*/liczników/W celu planowania kosztów zespoły zamówień mogą uzyskaćCena MCX631432AN-ADABszacunkowe i kontrolneMCX631432AN-ADAB na sprzedażw przypadku zamówień na 100 jednostek lub więcej.

W sprawieMCX631432AN-ADABzapewnia przekonującą propozycję wartości: opóźnienie pamięci masowej poniżej 300 μs, mniej niż 5% kosztów ogólnych procesora dla ruchu linii 25GbE i pełne obciążenia RoCE v2 bez zmian aplikacji.Zastąpienie starszych stosów TCP transportem RDMA, organizacje mogą odzyskać do 30% mocy rdzeniowej dla obciążeń krytycznych dla biznesu.Architektura ConnectX-6 Lx oferuje doskonałe programowalne rurociągi i głębię telemetriiRozwiązanie to zostało zwalidowane w środowiskach produkcyjnych obejmujących przechowywanie w chmurze, symulację HPC i analizę w czasie rzeczywistym.NVIDIA Mellanox MCX631432AN-ADABstanowi przyszłościową, opłacalną podstawę sieci serwerów o niskim opóźnieniu i dużej przepustowości.