P

Mellanox 920-9B210-00FN-0D0 InfiniBand Switch | Rozwiązanie techniczne dla optymalizacji sieci o niskim opóźnieniu dla klastrów RDMA, HPC i AI

Kompleksowa architektura techniczna i przewodnik wdrożeniowy obejmujący sieci InfiniBand NVIDIA Quantum-2 NDR, akcelerację RDMA, skalowalne połączenia klastrów GPU, zarządzanie siecią i optymalizację wydajności.

Produkt: NVIDIA QM9790 / MQM9790-NS2F   |   SKU: 920-9B210-00FN-0D0   |   Technologia: 400Gb/s NDR InfiniBand

Sztuczna inteligencja, obliczenia o wysokiej wydajności (HPC) i rozproszone obciążenia GPU stawiają bezprecedensowe wymagania przed infrastrukturą sieciową centrów danych. W miarę rozwoju klastrów obliczeniowych wydajność komunikacji sieciowej coraz częściej decyduje o tym, czy drogie zasoby GPU mogą działać z pełnym potencjałem. NVIDIA Mellanox 920-9B210-00FN-0D0 zapewnia platformę przełączania o wysokiej przepustowości i niskim opóźnieniu do budowy skalowalnych sieci akcelerowanych obliczeniowo.

Zasilany technologią NVIDIA Quantum-2, QM9790 obsługuje 64 nieblokujące porty InfiniBand NDR 400Gb/s za pośrednictwem 32 złączy OSFP, z łączną przepustowością przełączania do 51,2 Tb/s w obie strony. Ten techniczny dokument biały wyjaśnia, jak zintegrować przełącznik z architekturami sieciowymi obsługującymi RDMA, optymalizować rozproszoną komunikację AI, projektować odporne sieci HPC oraz ustanawiać skuteczne praktyki wdrażania i eksploatacji.

01. Tło projektu i analiza wymagań

Nowoczesne platformy szkolenia AI zazwyczaj łączą wiele serwerów GPU w rozproszone klastry obliczeniowe. Podczas szkolenia modeli GPU często wymieniają gradienty, parametry i wyniki pośrednie za pomocą bibliotek komunikacyjnych, takich jak NVIDIA NCCL. Aplikacje HPC podobnie polegają na przekazywaniu komunikatów o niskim opóźnieniu za pośrednictwem MPI i innych frameworków obliczeń równoległych.

W miarę wzrostu liczby węzłów obliczeniowych ruch komunikacyjny staje się bardziej złożony. Aplikacje mogą napotkać nasycenie przepustowości, wąskie gardła w ruchu, opóźnienia w komunikacji zbiorczej i niespójną wydajność spowodowaną rywalizacją sieciową.

Wysokowydajne rozwiązanie InfiniBand powinno spełniać następujące wymagania techniczne:

• Wysoka przepustowość: Zapewnienie wystarczającej pojemności połączeń dla ruchu danych na dużą skalę między serwerami GPU a węzłami obliczeniowymi.
• Niskie opóźnienie komunikacji: Minimalizacja opóźnień związanych z częstą synchronizacją i wymianą małych komunikatów.
• Obsługa RDMA: Umożliwienie wydajnej komunikacji pamięć-do-pamięci ze zmniejszonym zaangażowaniem procesora.
• Skalowalność sieci: Obsługa rozbudowy od pojedynczych szaf serwerowych do wieloszafowych sieci AI i HPC.
• Optymalizacja ruchu: Poprawa wykorzystania sieci poprzez adaptacyjne routowanie i zarządzanie ruchem.
• Niezawodność operacyjna: Ustanowienie procedur monitorowania, izolacji błędów i walidacji wydajności.

Cel projektowy: Zbudowanie skalowalnej, o wysokiej przepustowości sieci InfiniBand, która minimalizuje wąskie gardła związane z siecią i zapewnia przewidywalną wydajność RDMA dla rozproszonego szkolenia AI, obliczeń naukowych i aplikacji HPC intensywnie korzystających z danych.

02. Ogólna architektura sieci i systemu

Proponowana architektura wykorzystuje 920-9B210-00FN-0D0 InfiniBand switch OPN jako podstawowy element w sieci NDR o wysokiej prędkości. W zależności od skali wdrożenia przełączniki mogą działać w projekcie jednopoziomowym lub w topologii typu leaf-spine wielopoziomowej.

Dla wieloszafowych klastrów GPU, dwupoziomowa architektura Fat Tree jest praktycznym punktem wyjścia. Przełączniki Leaf łączą serwery obliczeniowe, podczas gdy przełączniki Spine zapewniają komunikację o wysokiej przepustowości między szafami. Alokacja uplink powinna być obliczana zgodnie z oczekiwanymi wzorcami ruchu, wymaganą przepustowością bisekcjalną i dopuszczalnym nadsubskrypcją.

Referencyjna topologia sieci

Aplikacje AI Training / HPC
NCCL / MPI / UCX / RDMA
↓
Serwery GPU i węzły obliczeniowe
Adaptery InfiniBand NVIDIA ConnectX
↓
Warstwa Leaf
Przełączniki InfiniBand NDR NVIDIA Quantum-2 QM9790
↓
Warstwa Spine
Przełączniki InfiniBand NDR NVIDIA Quantum-2 QM9790
↓
Inne szafy GPU / Węzły obliczeniowe HPC
Zewnętrzny Subnet Manager / Zarządzanie siecią NVIDIA UFM

W tej architekturze węzły obliczeniowe wykorzystują adaptery sieciowe obsługujące RDMA do dostępu do sieci InfiniBand. Warstwa Leaf zapewnia łączność skierowaną do serwerów, podczas gdy warstwa Spine obsługuje komunikację między różnymi segmentami sieci. Projekt nieblokujący wymaga odpowiedniej przepustowości uplink w stosunku do podłączonych downlinków.

Duże wdrożenia AI mogą również rozkładać komunikację na wiele niezależnych szyn sieciowych w celu poprawy izolacji błędów i wykorzystania przepustowości. Należy wziąć pod uwagę wyrównanie szyn, rozmieszczenie adapterów, powinowactwo NUMA i topologię GPU, aby zapobiec ograniczeniom po stronie hosta, które zmniejszają korzyści z szybkiego przełączania.

03. Rola i kluczowe cechy NVIDIA Mellanox 920-9B210-00FN-0D0

Przełącznik InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR należy do rodziny NVIDIA Quantum-2 QM9790. Jest to niezarządzany system przełączania InfiniBand przeznaczony dla sieci zarządzanych zewnętrznie, obsługujący gęstą łączność i szybką komunikację między akcelerowanymi węzłami obliczeniowymi.

Poniższe specyfikacje 920-9B210-00FN-0D0 podsumowują charakterystykę produktu istotną dla architektury sieci i wyboru sprzętu.

Optymalizacja komunikacji oparta na RDMA

Remote Direct Memory Access umożliwia uczestniczącym systemom transfer danych między zarejestrowanymi regionami pamięci, jednocześnie zmniejszając narzut przetwarzania przez procesor. W środowiskach AI i HPC ta możliwość zapewnia wydajną komunikację międzywęzłową i może zmniejszyć koszty transferu danych związane z oprogramowaniem.

Dzięki kompatybilnym adapterom NVIDIA ConnectX i odpowiednio skonfigurowanemu stosowi oprogramowania, aplikacje mogą wykorzystywać transport RDMA za pośrednictwem frameworków takich jak UCX, MPI i NCCL. GPU Direct RDMA może dalej optymalizować ruch danych, jeśli platforma sprzętowa, sterowniki i konfiguracja aplikacji to obsługują.

Adaptacyjne routowanie i zarządzanie ruchem

NVIDIA Quantum-2 obsługuje mechanizmy adaptacyjnego routowania, które mogą rozkładać ruch na dostępne ścieżki sieciowe. W połączeniu z kontrolą ruchu InfiniBand, możliwościami jakości usług i zarządzaniem pasmami wirtualnymi, technologie te pomagają rozwiązywać problemy z wąskimi gardłami w ruchu i poprawiać stabilność komunikacji.

Rzeczywiste korzyści zależą od topologii sieci, zasad routowania, możliwości oprogramowania układowego i konfiguracji zarządzania podsiecią. Architekci sieci powinni walidować te ustawienia w warunkach reprezentatywnego ruchu aplikacji, zamiast polegać wyłącznie na teoretycznej przepustowości przełączania.

NVIDIA SHARP In-Network Computing

NVIDIA Scalable Hierarchical Aggregation and Reduction Protocol (SHARP) umożliwia przetwarzanie obsługiwanych operacji zbiorczych w ramach sieci. Poprzez zmniejszenie ilości danych wymienianych podczas obsługiwanych operacji redukcji, SHARP może poprawić wydajność komunikacji dla wybranych obciążeń AI i HPC. Wdrożenie wymaga kompatybilnego oprogramowania układowego, komponentów zarządzających i wsparcia oprogramowania aplikacyjnego.

04. Strategia wdrożenia i rozbudowa sieci

Wdrożenie rozwiązania 920-9B210-00FN-0D0 InfiniBand switch OPN powinno odbywać się zgodnie ze strukturalnym procesem implementacji obejmującym kompatybilność sprzętu, planowanie sieci, walidację sieci i przyszłe wymagania dotyczące pojemności. Podejście etapowe zmniejsza ryzyko konfiguracji i ułatwia identyfikację problemów z wydajnością.

Etap 1: Infrastruktura sprzętowa i fizyczna

• Potwierdź SKU przełącznika, starszy OPN, wymiary szafy, wymagania dotyczące zasilania i kierunek przepływu powietrza P2C.
• Wybierz kompatybilne adaptery ConnectX, moduły optyczne OSFP, kable DAC lub aktywne kable optyczne w zależności od prędkości i odległości połączenia.
• Zaplanuj trasowanie kabli, chłodzenie szafy, redundancję zasilania i alokację portów fizycznych.
• Zweryfikuj obsługiwane wersje oprogramowania układowego i interoperacyjność sprzętu przed wdrożeniem produkcyjnym.

Etap 2: Konfiguracja i walidacja sieci

Ponieważ QM9790 jest przełącznikiem niezarządzanym, do inicjalizacji sieci i konfiguracji ścieżek wymagany jest zewnętrzny InfiniBand Subnet Manager. NVIDIA UFM może zapewnić dodatkowe możliwości zarządzania siecią, monitorowania i operacyjne, gdy jest wdrożony z obsługiwanymi komponentami.

Administratorzy sieci powinni weryfikować stany połączeń portów, negocjowane prędkości, wykrywanie podsieci, konfigurację routingu i łączność RDMA od końca do końca. Tam, gdzie to istotne, skonfiguruj partycjonowanie, poziomy usług, pasma wirtualne, kontrolę ruchu i adaptacyjne routowanie zgodnie z wymaganiami aplikacji.

Etap 3: Planowanie rozbudowy i pojemności

Rozbudowa klastra powinna uwzględniać stopień przełącznika, dostępną przepustowość uplink, dystrybucję ruchu i liczbę poziomów sieci. Chociaż QM9790 zapewnia 64 logiczne porty NDR, fizyczny układ interfejsów i obsługiwane konfiguracje rozgałęzień kabli muszą być dokładnie odzwierciedlone w planie alokacji portów.

Dla większych wdrożeń można wprowadzić dodatkowe przełączniki leaf i spine, aby pomieścić nowe szafy serwerowe. Plany rozbudowy powinny uwzględniać redundancję, separację szyn sieciowych, odległości kablowe i utrzymanie wymaganej przepustowości między grupami obliczeniowymi.

05. Operacje, monitorowanie i rozwiązywanie problemów

Niezawodne działanie InfiniBand wymaga ciągłej widoczności stanu połączeń, kondycji sieci, zachowania ruchu i wydajności obciążeń. NVIDIA UFM i kompatybilne narzędzia diagnostyczne InfiniBand mogą być używane do monitorowania warunków sieciowych i identyfikowania nietypowych wzorców komunikacji.

Zalecane monitorowanie operacyjne obejmuje:

• Stan połączenia: Monitorowanie negocjowanych prędkości, błędów fizycznych, migotania połączeń i zdarzeń wyłączenia portu.
• Wykorzystanie przepustowości: Śledzenie wysyłanego i odbieranego ruchu w celu identyfikacji nadsubskrybowanych połączeń.
• Wskaźniki ruchu: Inspekcja liczników oczekiwania na transmisję, aktywności kontroli przepływu i wąskich gardeł w ruchu.
• Zarządzanie siecią: Sprawdzanie dostępności Subnet Managera, spójności routingu, zmian topologii i wykrytych urządzeń.
• Wydajność aplikacji: Korelacja pomiarów sieci z metrykami NCCL, MPI i obciążeń produkcyjnych.

Do testowania wydajności na poziomie sieci inżynierowie mogą używać narzędzi InfiniBand, takich jak ibstat, ibdiagnet, perfquery oraz narzędzi wydajności RDMA, takich jak ib_write_bw i ib_send_lat. Testy NVIDIA NCCL i benchmarki MPI mogą dostarczyć dodatkowych informacji na temat wydajności komunikacji na poziomie aplikacji.

Podczas rozwiązywania problemów z degradacją wydajności, najpierw zweryfikuj łączność fizyczną, a następnie prędkość portu, liczniki błędów, routing sieciowy i wskaźniki ruchu. Jeśli metryki sieciowe pozostają w normie, zbadaj przepustowość PCIe po stronie hosta, rozmieszczenie NUMA, powinowactwo GPU, wersje sterowników i ustawienia komunikacji aplikacji.

Akceptacja wydajności powinna obejmować efektywną przepustowość, opóźnienie komunikacji, przepustowość operacji zbiorczych i czas ukończenia obciążenia. Pomiary opóźnień P50, P95 i P99 mogą pomóc w ujawnieniu zmienności wydajności przy stałym lub intensywnym ruchu. Progi akceptacji powinny być definiowane przy użyciu specyficznych dla projektu celów usługowych i zmierzonych danych bazowych.

06. Wartość rozwiązania i ocena wydajności

Przełącznik InfiniBand 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR zapewnia przepustowość sieci i architekturę wymaganą dla wymagających rozproszonych środowisk obliczeniowych. Jej główna wartość polega na umożliwieniu szybkiej komunikacji, skalowalnego projektowania sieci i wydajnej integracji z systemami obliczeniowymi obsługującymi RDMA.

Z perspektywy infrastruktury, łączność NDR 400Gb/s i wysoka gęstość portów mogą zmniejszyć ograniczenia sieciowe w miarę wzrostu rozmiarów klastrów GPU. Zaawansowane możliwości InfiniBand obsługują bardziej wydajny rozkład ruchu, podczas gdy zewnętrzne zarządzanie siecią poprawia widoczność operacyjną i rozwiązywanie problemów.

Kompleksowa ocena wartości powinna porównywać koszty wdrożenia z mierzalnymi ulepszeniami w przepustowości aplikacji, wykorzystaniu GPU, stabilności sieci i wydajności operacyjnej. Zespoły oceniające cenę 920-9B210-00FN-0D0 powinny również uwzględnić kompatybilne adaptery, optykę, kable, oprogramowanie do zarządzania, zasilanie i wymagania dotyczące wsparcia.

Zasada oceny technicznej: Sukces modernizacji sieci InfiniBand powinien być określany poprzez powtarzalne testy porównawcze i walidację obciążeń produkcyjnych. Sama przepustowość przełączania nie gwarantuje stałego skrócenia czasu szkolenia ani opóźnienia aplikacji.

07. Wnioski i rozwój przyszłości

Przełącznik InfiniBand NVIDIA Mellanox 920-9B210-00FN-0D0 to rozwiązanie sieciowe o dużej gęstości, przeznaczone do szkolenia AI, aplikacji HPC i akcelerowanych środowisk centrów danych. Dzięki technologii NVIDIA Quantum-2, 64 portom NDR i łącznej przepustowości do 51,2 Tb/s w obie strony, stanowi podstawę do budowy skalowalnych sieci obliczeniowych o niskim opóźnieniu.

Pomyślne wdrożenie wymaga więcej niż tylko instalacji sprzętu. Dobrze zaprojektowane rozwiązanie musi koordynować topologię sieci, adaptery obsługujące RDMA, połączenia optyczne, konfigurację Subnet Managera, dostrajanie obciążeń i monitorowanie operacyjne.

W miarę rozbudowy klastrów GPU i wzrostu intensywności komunikacji w rozproszonych obciążeniach, wysokowydajne sieci InfiniBand pozostaną ważnym elementem nowoczesnej infrastruktury akcelerowanych obliczeń. QM9790 stanowi praktyczną opcję dla organizacji poszukujących niezawodnej łączności NDR i jasnej ścieżki do większych, wieloszafowych architektur sieciowych.

Odnośnik techniczny: NVIDIA QM97XX 1U NDR 400Gbps InfiniBand Switch Systems User Manual. Ostateczne specyfikacje wdrożeniowe, obsługiwane funkcje, kompatybilność oprogramowania układowego i konfiguracje fizyczne należy sprawdzić w dokumentacji dla konkretnego SKU produktu.

Rozwiązania sieciowe InfiniBand NVIDIA Mellanox

Beijing Zhongke Xinyuan Technology Co., Ltd. zapewnia sprzęt sieciowy NVIDIA Mellanox i wsparcie dla rozwiązań dla centrów danych AI, klastrów GPU, systemów HPC i infrastruktury korporacyjnej. Nasze portfolio produktów obejmuje przełączniki InfiniBand NVIDIA Quantum, adaptery sieciowe ConnectX, transceivery optyczne oraz kable DAC/AOC o wysokiej prędkości.

Dla klientów poszukujących kompatybilnych z 920-9B210-00FN-0D0 komponentów sieciowych, wsparcia w wyborze produktu, informacji o dostępności lub wycen projektów, nasz zespół może pomóc w identyfikacji modelu, dopasowaniu konfiguracji i planowaniu zamówień.