Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter Techniczne rozwiązanie

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter Techniczne rozwiązanie: RDMA/RoCE Transport niskiego opóźnienia i usprawnienie przepustowości serwera Design White Paper

1Analiza tła i wymagań projektu

Współczesne centra danych przechodzą zasadniczą zmianę od architektury "komputerowo-centrycznej" do architektury "datocentrycznej", napędzaną gwałtownym wzrostem obciążeń roboczych AI/ML, rozproszonych systemów pamięci masowej,i platform analitycznych w czasie rzeczywistymW tym kontekście adapter sieciowy nie jest już pasywnym komponentem łączności, ale kluczowym czynnikiem determinującym ogólną wydajność aplikacji.z ograniczeniami obejścia jądra i nadmiernego kosztu stosu protokołu, stał się głównym wąskim gardłem, zużywając do 30% cykli procesora, nie zapewniając jednak opóźnienia na poziomie mikrosekund i przepustowości linii wymaganej przez obciążenia nowej generacji.

W szczególności trzy powiązane ze sobą wyzwania wymagają odpowiedzi architektonicznej.systemy pamięci masowej wykorzystujące NVMe over Fabrics (NVMe-oF) wymagają opóźnienia dostępu poniżej 100 mikrosekund, aby w pełni wykorzystać nowoczesne media flash; wszelkie opóźnienie wywołane przez sieć bezpośrednio podważa wydajność pamięci masowej.rozproszone ramy szkoleniowe sztucznej inteligencji, takie jak PyTorch i TensorFlow, opierają się na częstych operacjach all-reduce w klastrach GPUPo trzecie, wirtualizacja i konteneryzacja wprowadzają dodatkowe koszty enkapsułowania,wymaganie inteligentnego wyładowania sprzętu w celu utrzymania wydajności w skali.Mellanox (NVIDIA Mellanox) MCX631102AN-ADATAdapter serwera bezpośrednio odpowiada na te wymagania, zapewniając specjalnie zaprojektowaną podstawę dla sieci o wysokiej wydajności i niskim opóźnieniu w centrach danych.

2Ogólne projektowanie architektury sieci i systemu

Proponowane rozwiązanie wykorzystuje dwuetapową architekturę sieci "spine-leaf" zaprojektowaną w celu maksymalizacji możliwości sieciKarta adaptera Ethernet MCX631102AN-ADAT. Na warstwie liści, przełączniki 25GbE SFP28 zapewniają łączność ToR (Top-of-Rack), przy czym każdy przełącznik liści obsługuje do 48 portów.dostarczanie bezblokowej łączności "kto-do-kogo"Architektura ta jest zoptymalizowana do transportu RoCE v2 (RDMA over Converged Ethernet version 2),wykorzystanie natywnych mechanizmów kontroli zatłoczenia adaptera i możliwości PFC (Priority Flow Control) w celu utrzymania warunków sieci bez strat.

Każdy węzeł obliczeniowy i pamięci masowej jest wyposażonyMCX631102AN-ADAT ConnectX-6 Lx podwójny port 25GbE SFP28adapter, z portami skonfigurowanymi w trybie aktywny-aktywny, aby zapewnić zarówno wysoką dostępność, jak i zagregowaną przepustowość 50GbE. Serwer hosta łączy się z adapterem za pośrednictwem PCIe 4.0 x8,zapewnienie wystarczającej szerokości pasma dla połączeń pociągów, aby utrzymać pełny ruch liniiZ punktu widzenia oprogramowania, architektura zawiera stack sterowników OFED (OpenFabrics Enterprise Distribution) firmy NVIDIA, zapewniając zoptymalizowane wsparcie RoCE w głównych systemach operacyjnych.Dla węzłów pamięci masowej, architektura integruje cele NVMe-oF bezpośrednio dostępne za pośrednictwem RoCE, eliminując warstwę TCP/IP całkowicie z ścieżki danych.

3Rola i kluczowe cechy MCX631102AN-ADAT w rozwiązaniu

W sprawieNVIDIA Mellanox MCX631102AN-ADATsłuży jako podstawowy interfejs sieciowy zarówno dla obszarów obliczeniowych, jak i pamięci masowej, odgrywając cztery kluczowe role w ogólnej architekturze.łączy się z systemem sterowania z napędem akceleracyjnym, który zapewnia przepustowość linii 25GbE na port we wszystkich rozmiarach pakietów, co jest potwierdzone przezSpecyfikacje MCX631102AN-ADAT, które wykazują opóźnienie między aplikacjami poniżej 1 mikrosekundy w połączeniu ze przełącznikami z funkcją RoCE.

Po drugie, adapter działa jako punkt końcowy transportu RDMA, rozładowując cały stos protokołu RDMA, w tym rejestrację pamięci, tłumaczenie adresów i przetwarzanie zakończenia, z hosta CPU.To obciążenie ma szczególne znaczenie dla obciążeń pracy magazynowych, zmniejszając wykorzystanie procesora dla inicjatorów NVMe-oF z około 18% do mniej niż 3% w porównaniu z implementacjami wyłącznie oprogramowania.MCX631102AN-ADAT zapewnia oprogramowanie oparte na sprzęcie dla VXLAN i NVGRE, zapewniając, że wirtualizowana kapsuła sieciowa nie pogarsza wydajności, co stanowi kluczową zaletę wdrożeń w chmurze.adapter obsługuje SR-IOV (Single Root I/O Virtualization), umożliwiając maksymalnie 256 wirtualnych funkcji na port dla efektywnej izolacji wielu użytkowników bez narażania przepustowości.MCX631102AN-ADAT rozwiązanie karty adaptera EthernetBezproblemowo integruje się z technologią GPUDirect Storage firmy NVIDIA, umożliwiając bezpośredni przepływ danych między pamięcią GPU a zdalnymi urządzeniami pamięci masowej NVMe przez sieć.

W poniższej tabeli podsumowano kluczowe specyfikacje techniczne istotne dla architektury rozwiązania:

4. Zalecenia wdrożenia i skalowania z typową topologią

W przypadku wdrożeń greenfield zalecamy trzypoziomowe podejście do skalowania. Na poziomie bazowym (mała skala: 16 ∼32 węzły), jeden klaster przełącznika może hostować wszystkie węzły obliczeniowe i pamięci masowej,z każdym węzłem wyposażonym w MCX631102AN-ADAT i z obydwoma portami podłączonymi do tego samego przełącznika do agregacji łączyNa poziomie średnim (64 ∼ 128 węzłów) architektura powinna mieć dwupoziomową konstrukcję,z podwójnymi portami każdego węzła podłączonymi do różnych przełączników liści, aby zapewnić zarówno wydajność, jak i odpornośćW skali przedsiębiorstwa (256+ węzłów) rozwiązanie zaleca wdrożenie trójstopniowej architektury z dedykowaną segmentacją tkanin RoCE,izolowanie ruchu pamięci masowej od ruchu obliczeniowego na warstwie sieci, oraz wykorzystanieKompatybilny z MCX631102AN-ADATnaturalne zarówno z NVIDIA Spectrum, jak i zewnętrznymi przełącznikami 25GbE.

W przypadku środowisk brownfield adapter zapewnia bezproblemową kompatybilność z optyką i kablami 10GbE SFP+, umożliwiając organizacjom stopniową migrację.Arkusz danych MCX631102AN-ADATdostarcza szczegółowych macierzy kompatybilności dla głównych platform serwerowych, w tym rodzin Dell PowerEdge, HPE ProLiant i Supermicro SuperServer.Rozmieszczenie adaptera powinno być skoordynowane z aktualizacjami oprogramowania układowego, aby zapewnić, że wszystkie węzły uruchamiają tę samą minimalną wersję oprogramowania układowego dla spójnego zachowania RoCEZalecamy również użycie konfiguracji opartej na EEPROM, aby utrzymać ustawienia podczas ponownego uruchamiania systemu, zmniejszając koszty operacyjne podczas okna konserwacji.

5. Operacje, monitorowanie, rozwiązywanie problemów i optymalizacja

W sprawieMCX631102AN-ADATW celu monitorowania zalecamy stosowanie następujących praktyk operacyjnych.W celu umożliwienia licznikom przepływu opartym na sprzęcie monitorowania wykorzystania w kolejce i identyfikowania punktów kontaktowych, liczniki te są dostępne za pośrednictwemmlx5_coreModuł jądra i może być zintegrowany z Prometheus lub innymi rozwiązaniami TSDB.wykorzystanie monitorowania PFC (Priority Flow Control) adaptera do wykrywania i usuwania zdarzeń z powodu zatłoczenia sieci przed ich wpływem na wydajność aplikacjiPo trzecie, wdrożyć ostrzeżenia oparte na progu dla temperatury adaptera i stanu połączenia PCIe w celu prewencyjnego zidentyfikowania awarii sprzętu.

W celu rozwiązywania problemów zaawansowana diagnostyka adaptera, łącznie z testami pętli w obrębie portu, dziennikami szkoleniowymi połączeń i statystykami kolescencji przerw, zapewnia szczegółową widoczność problemów wydajności.Zalecamy ustalenie podstawowej linii normalnej operacji podczas początkowego wdrożenia, rejestrując kluczowe metryki, takie jak średnia opóźnienie, przepustowość i wykorzystanie procesora,aby służyć jako odniesienie do przyszłych porównańW ocenieCena MCX631102AN-ADATW celu zwiększenia efektywności zarządzania procesami, organizacje powinny uwzględniać oszczędności operacyjne wynikające ze zmniejszonego zużycia procesora i uproszczonych przepływów pracy w zakresie rozwiązywania problemów.

Strategie optymalizacjiKarta adaptera Ethernet MCX631102AN-ADATW konfiguracji hosta dostosować maksymalny rozmiar ładunku użytkowego PCIe do 512 bajtów i umożliwić moderację przerw, aby zrównoważyć opóźnienie i wydajność procesora.konfigurować priorytety PFC w sposób spójny we wszystkich przełącznikach i adapterach, zalecamy wyznaczenie priorytetu 3 dla ruchu RoCE i priorytetu 0 dla ruchu zarządzania. W warstwie aplikacji, dostosować głębokość kolejki RDMA do charakterystyki obciążenia: głębsze kolejki korzystne dla przepustowych obciążeń pamięci masowej,podczas gdy płytkie kolejki zmniejszają opóźnienie dla wrażliwych procesów transakcyjnych. SzczegółoweSpecyfikacje MCX631102AN-ADATzapewnić szczegółowe wytyczne dotyczące dostosowywania tych parametrów na różnych platformach systemu operacyjnego.

6Podsumowanie i ocena wartości

W sprawieMellanox (NVIDIA Mellanox) MCX631102AN-ADATzapewnia rozwiązanie architektoniczne, które rozwiązuje podstawowe wyzwania współczesnej sieci centrów danych: zapewnienie opóźnienia w skali mikrosekund, transport RDMA przyspieszony sprzętem,i stałą przepustowość 25GbE przy jednoczesnym zmniejszeniu kosztów obsługi CPU. Służąc jako zunifikowany interfejs sieciowy dla obciążeń obliczeniowych, pamięci masowej i sztucznej inteligencji, adapter upraszcza infrastrukturę przy jednoczesnym zwiększeniu wydajności.MCX631102AN-ADAT rozwiązanie karty adaptera Ethernetobniża zużycie procesora sieciowego o około 80%, zwiększa opóźnienie dostępu do pamięci masowej o ponad 80%,i zapewnia przewidywalną wydajność w różnych warunkach obciążenia dzięki zarządzaniu zatłoczeniami opartym na sprzęcie.

Z perspektywy wartości biznesowej,adapter umożliwia organizacjom maksymalizację istniejących inwestycji w przełączniki 25GbE przy jednoczesnym osiąganiu wydajności dotychczas osiągalnej tylko z rozwiązaniami 40GbE lub 100GbE.MCX631102AN-ADAT na sprzedażocena konsekwentnie wykazuje pozytywny ROI w ciągu 12-18 miesięcy, ze względu na zmniejszone wymagania dotyczące liczby serwerów (ze względu na wyższą wydajność na węzeł) i mniejsze koszty operacyjne.Dla organizacji budujących lub modernizujących sieci centrów danych, MCX631102AN-ADAT stanowi nie tylko stopniową modernizację, ale fundamentalną poprawę efektywności sieci.