R

NVIDIA Mellanox 920-9B110-00FH-0D0 InfiniBand Switch Techniczne rozwiązanie w zakresie optymalizacji łącza o niskim opóźnieniu dla klastrów RDMA, HPC i AI

Analiza tła i wymagań projektu

Nowoczesne centra danych obsługujące szkolenia AI, symulacje HPC i rozproszone pamięci masowe mają podwójną presję na przepustowość i opóźnienie na warstwie sieciowej.natomiast inter-node komunikacji ogona opóźnienia i jitter stają się ograniczającym czynnikiem dla ogólnej efektywności klastraDla wielu organizacji praktycznym pytaniem nie jest przyjęcie 400Gb/s NDR, ale jak zbudować sprawdzoną, opłacalną tkankę HDR, która nadal zapewnia deterministyczną wydajność.

Typowe wymagania dla takiego projektu obejmują transport RDMA o niskim opóźnieniu, zachowanie tkaniny bez strat, kompatybilność z przeszłością z istniejącą infrastrukturą EDR i FDR oraz jasną ścieżkę skalowania.NVIDIA Mellanox 920-9B110-00FH-0D0 spełnia te wymagania jako przełącznik HDR InfiniBand o prędkości 200 Gb/s w ramach rodziny NVIDIA Quantum.

Ogólne projektowanie architektury sieci i systemu

Zalecana architektura to dwuetapowa struktura InfiniBand oparta na linkach HDR o szybkości 200 Gb/s. Przełączniki Leaf łączą węzły obliczeniowe, cele pamięci masowej i serwery zarządzania,Podczas gdy przełączniki kręgosłupa zapewniają łączność między liśćmi i różnorodność ścieżekTa konstrukcja utrzymuje niską liczbę hopów i zapewnia niezablokowaną przepustowość dla ruchu wschodu-zachodnia, który dominuje w obciążeniach HPC i AI.

Na warstwie punktu końcowego adaptery kanału hosta działają w trybie RDMA, umożliwiając transfery pamięci do pamięci bez interwencji procesora.i zbiorowego przyspieszeniaZarządzanie ruchem i telemetria dzieli tę samą infrastrukturę fizyczną, ale jest odizolowany przez zasady QoS, więc monitorowanie nie zakłóca obciążeń produkcyjnych.

Kluczowe zasady projektowania obejmują:

• Płaska topologia w celu zminimalizowania opóźnienia i uproszczenia rozwiązywania problemów
• Połączenia między poziomami bez blokowania lub z niskim poziomem nadpłatności
• Konsekwentne HDR od końca do końca, z wsteczną kompatybilnością EDR/FDR w razie potrzeby
• Redundantne ścieżki dla wysokiej dostępności i równoważenia obciążenia
• Standard zarządzania InfiniBand dla spójności operacyjnej

Rola i kluczowe cechy NVIDIA Mellanox 920-9B110-00FH-0D0

NVIDIA Mellanox 920-9B110-00FH-0D0 służy jako podstawowy blok budowlany tej tkaniny.zapewnia 40 portów QSFP56 i 16Tb/s bezblokowania przełącznika w 1U form factorTa gęstość umożliwia wykonanie płytek o dużym radixie i ułatwia okablowanie w gęstych półkach.

W przypadku zespołów przeglądających specyfikacje 920-9B110-00FH-0D0, przełącznik obsługuje RDMA, MPI i NVIDIA SHARP do zbiorowej operacji obciążenia.Zaawansowane sterowanie zatłoczeniami i dostosowywanie trasy skierowane są do problemów związanych z opóźnieniem w pracy i problemami z incastem, które są powszechne w szkoleniach AI i obciążeniach roboczych MPI920-9B110-00FH-0D0 InfiniBand switch OPN integruje się również ze standardowymi narzędziami zarządzania InfiniBand, zmniejszając krzywą uczenia się operacyjnego.

Przy planowaniu rozwiązania 920-9B110-00FH-0D0 InfiniBand Switch OPN architekci powinni potwierdzić kompatybilność komponentów z 920-9B110-00FH-0D0, w tym kabli QSFP56, adapterów kanału hosta,i wersje oprogramowania układowegoPrzegląd arkusza danych 920-9B110-00FH-0D0 na początku fazy projektowania pomaga zweryfikować wymagania w zakresie mocy, chłodzenia i powierzchni regałów przed zakupem.

Zalecenia dotyczące wdrażania i skalowania

Typowe rozmieszczenie rozpoczyna się od pilotażowego modułu 32-64 węzłów obliczeniowych podłączonych do pary przełączników liści 920-9B110-00FH-0D0.utrzymanie szerokości pasma między liśćmi bez blokowaniaTakie podejście umożliwia weryfikację opóźnienia i przepustowości przed wdrożeniem na pełną skalę.

W celu skalowania należy utrzymać symetrię tkaniny: dodać pojemność liści i kręgosłupa w dopasowanych stopniach, aby współczynniki nadpłaty pozostały przewidywalne.Zarządzanie kablami i oznakowanie portów powinny być znormalizowane od samego początku, ponieważ wdrożenia QSFP56 o wysokiej gęstości stają się trudne do utrzymania, jeśli układ fizyczny jest niespójny.

Poniższa tabela podsumowuje reprezentatywne dwustopniowe rozważania projektowe:

Operacje, monitorowanie, rozwiązywanie problemów i optymalizacja

Sukces operacyjny zależy od widoczności.Należy je gromadzić w sposób ciągły i korelować z danymi z harmonogramu pracy, więc regresje wydajności można prześledzić do konkretnych segmentów tkanin, a nie zgadzać.

Powszechne scenariusze rozwiązywania problemów obejmują stany kredytowe, źle skonfigurowane QoS i niezgodności oprogramowania między przełącznikami a adapterami.potwierdzenie zasady routinguW celu optymalizacji należy skoncentrować się raczej na opóźnieniu końcowym niż na średniej przepustowości.ponieważ obciążenia HPC i AI są wrażliwe na zachowania w najgorszym przypadku.

W przypadku zamówień publicznych i planowania cyklu życia zespoły często porównują cenę 920-9B110-00FH-0D0 z opcjami sprzedaży 920-9B110-00FH-0D0 w ramach autoryzowanych kanałów.poziom wsparcia, a region, dlatego zaleca się wczesne zaangażowanie dystrybutorów i przedstawicieli przedsiębiorstw NVIDIA.

Podsumowanie i ocena wartości

NVIDIA Mellanox 920-9B110-00FH-0D0 zapewnia sprawdzone 200Gb/s HDR podstawy dla RDMA, HPC i AI klastra połączenia.i umożliwiające bez strat transport o niskiej opóźnieniu, rozwiązuje wąskie gardła, które ograniczają efektywność klastrów w rzeczywistości.stanowi praktyczny i skalowalny blok budowlany dla tkanin HDR InfiniBand z jasną drogą naprzód.