P

W miarę jak modele sztucznej inteligencji stają się coraz bardziej złożone, klastry GPU i środowiska obliczeń o wysokiej wydajności (HPC) coraz bardziej polegają na wydajnej komunikacji między węzłami obliczeniowymi. Przepustowość sieci, opóźnienia i zarządzanie ruchem stały się krytycznymi czynnikami wpływającymi na wydajność rozproszonych obciążeń. NVIDIA Mellanox 920-9B210-00FN-0D0 zapewnia fundament sieciowy o dużej gęstości dla tych wymagających aplikacji.

Zasilany przez technologię NVIDIA Quantum-2, QM9790 oferuje 64 porty NDR działające z prędkością do 400 Gb/s, z łączną dwukierunkową przepustowością przełączania do 51,2 Tb/s. Niniejszy artykuł analizuje reprezentatywny scenariusz wdrożenia AI i HPC obejmujący wiele szaf, podkreślając, w jaki sposób 920-9B210-00FN-0D0 może pomóc organizacjom zoptymalizować komunikację RDMA, poprawić skalowalność sieci i zmniejszyć ograniczenia wydajności związane z siecią.

01. Tło i wyzwania: Wąskie gardła sieciowe w klastrach AI i HPC

Rozważmy centrum danych obsługujące wiele szaf serwerów GPU do trenowania dużych modeli językowych, symulacji naukowych i rozproszonego przetwarzania danych. W miarę wdrażania dodatkowych węzłów obliczeniowych, ilość ruchu generowanego przez komunikację zbiorczą, synchronizację parametrów i zdalny dostęp do danych znacznie wzrasta.

Chociaż nowoczesne GPU oferują znaczące możliwości obliczeniowe, niewystarczająca wydajność połączeń może uniemożliwić aplikacjom pełne wykorzystanie dostępnych zasobów. W tym środowisku architekci sieciowi zazwyczaj napotykają kilka ważnych wyzwań:

• Ograniczenia przepustowości: Duże obciążenia GPU wymagają ciągłej wymiany danych, potencjalnie przeciążając połączenia o niższej prędkości.
• Opóźnienia komunikacyjne: Częste operacje synchronizacji mogą zwiększać czas oczekiwania między rozproszonymi węzłami obliczeniowymi.
• Przeciążenie sieci: Jednoczesna komunikacja między wieloma serwerami może tworzyć punkty gorące i niespójną wydajność aplikacji.
• Wyzwania związane ze skalowalnością: Rozszerzenie rozmiaru klastra wymaga starannego planowania pojemności przełączników, topologii sieci i infrastruktury okablowania.
• Złożoność operacyjna: Utrzymanie niezawodnego zarządzania siecią, widoczności błędów i spójności konfiguracji staje się coraz ważniejsze.

Wyzwania te pokazują, dlaczego szybkie sieci InfiniBand pozostają ważne dla ściśle powiązanych obciążeń obliczeniowych. Przełącznik InfiniBand 920-9B210-00FN-0D0 OPN zapewnia możliwości sprzętowe potrzebne do budowy architektur połączeń o dużej przepustowości i niskim opóźnieniu.

02. Architektura rozwiązania: Wdrożenie przełącznika InfiniBand NVIDIA Quantum-2 NDR

Przełącznik 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR jest przeznaczony do sieci obliczeniowych o wysokiej wydajności wymagających znacznej przepustowości i wydajnej komunikacji. Posiadając 32 fizyczne złącza OSFP, które zapewniają 64 porty NDR, system 1U obsługuje gęste połączenia między serwerami GPU, przełącznikami sieciowymi i innymi urządzeniami InfiniBand.

W reprezentatywnym wdrożeniu obejmującym wiele szaf, przełączniki QM9790 mogą być umieszczone w topologii InfiniBand leaf-spine. Serwery GPU wyposażone w kompatybilne adaptery NVIDIA ConnectX łączą się z przełącznikami leaf, podczas gdy przełączniki spine zapewniają łączność między szafami. Liczba przełączników, połączeń uplink i poziomów sieci zależy od rozmiaru klastra, wymagań dotyczących przepustowości i wybranego współczynnika nadsubskrypcji.

RDMA i komunikacja danych o niskim opóźnieniu

Remote Direct Memory Access (RDMA) umożliwia kompatybilnym systemom obliczeniowym bezpośrednie przesyłanie danych między zarejestrowanymi regionami pamięci przy zmniejszonym zaangażowaniu procesora. W rozproszonych środowiskach GPU może to pomóc zmniejszyć narzut komunikacyjny i poprawić wydajność przesyłania danych w porównaniu z konwencjonalnymi ścieżkami sieciowymi intensywnie wykorzystującymi oprogramowanie.

Sieć Quantum-2 InfiniBand obsługuje komunikację opartą na RDMA i zaawansowane możliwości sieciowe, w tym routing adaptacyjny, kontrolę przeciążeń i obliczenia w sieci NVIDIA SHARP. Po odpowiednim skonfigurowaniu i wsparciu przez stos aplikacji, technologie te mogą pomóc zoptymalizować operacje zbiorcze, zmniejszyć opóźnienia związane z przeciążeniami i poprawić wykorzystanie zasobów sieciowych.

Zarządzanie siecią i planowanie kompatybilności

QM9790 jest przełącznikiem InfiniBand zarządzanym zewnętrznie, w przeciwieństwie do QM9700 zarządzanego wewnętrznie. Wdrożenie wymaga zatem odpowiedniego zewnętrznego zarządzania podsiecią i monitorowania operacyjnego. NVIDIA Unified Fabric Manager (UFM) może być wykorzystany tam, gdzie jest obsługiwany, w celu zapewnienia scentralizowanej widoczności sieci i funkcji zarządzania.

Inżynierowie oceniający kompatybilne z 920-9B210-00FN-0D0 adaptery i komponenty połączeń powinni potwierdzić możliwości adapterów hosta, interoperacyjność oprogramowania układowego, zatwierdzone kable i konfiguracje złączy. Model 920-9B210-00FN-0D0 odpowiada konfiguracji z przepływem powietrza do przodu, od zasilania do złącza (P2C), która musi również odpowiadać projektowi chłodzenia centrum danych.

03. Oczekiwane wyniki i korzyści operacyjne

Po wdrożeniu odpowiednio zaprojektowanej sieci InfiniBand NDR organizacje mogą dążyć do poprawy wydajności komunikacji, wykorzystania zasobów i skalowalności sieci. Rzeczywiste zyski wydajności zależą od charakterystyki obciążenia, sprzętu serwerowego, topologii sieci, konfiguracji oprogramowania i pierwotnych wąskich gardeł sieciowych.

W celu obiektywnej oceny wydajności inżynierowie sieciowi powinni ustalić punkt odniesienia przed migracją i przeprowadzić kontrolowane testy po wdrożeniu. Przydatne narzędzia walidacyjne obejmują narzędzia do pomiaru wydajności InfiniBand, testy NCCL i benchmarki aplikacji oparte na MPI.

Zalecane pomiary obejmują efektywną przepustowość, opóźnienie punkt-punkt, wydajność komunikacji zbiorczej, liczniki błędów połączeń, wskaźniki przeciążeń i czas zakończenia obciążenia od końca do końca. Porównanie opóźnień P50, P95 i P99 w reprezentatywnych warunkach obciążenia może również pomóc zidentyfikować problemy ze spójnością wydajności, które mogą być ukryte przez wartości średnie.

Zamiast zakładać stałe procentowe ulepszenia, celem jest określenie, czy ulepszona sieć zmniejsza mierzalne wąskie gardła komunikacyjne i pozwala zasobom obliczeniowym działać wydajniej w rzeczywistych obciążeniach produkcyjnych.

04. Specyfikacje techniczne i wybór produktu

Przełącznik NVIDIA Mellanox 920-9B210-00FN-0D0 należy do rodziny NVIDIA Quantum-2 QM9790. Poniższe specyfikacje stanowią odniesienie do projektowania infrastruktury i zakupu produktów.

Podczas przeglądania karty katalogowej 920-9B210-00FN-0D0 lub porównywania opcji wdrożenia, zespoły IT powinny ocenić kompletne rozwiązanie, a nie tylko pojemność przełącznika. Należy wspólnie rozważyć projekt okablowania, kompatybilność adapterów, zewnętrzne zarządzanie podsiecią, przepływ powietrza w szafie i przyszłą rozbudowę klastra.

05. Wnioski i perspektywy na przyszłość

Przełącznik 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR stanowi solidną podstawę dla organizacji dążących do modernizacji infrastruktury sieciowej AI i HPC. Łącząc szybkie połączenia InfiniBand z zaawansowanymi możliwościami sieciowymi Quantum-2, obsługuje wydajną komunikację RDMA i skalowalne rozproszone architektury obliczeniowe.

W miarę jak modele AI stają się większe, a klastry GPU rozszerzają się na więcej węzłów obliczeniowych, skoordynowana optymalizacja sprzętu sieciowego, zarządzania siecią i komunikacji programowej pozostanie kluczowa. Rozwiązanie OPN przełącznika InfiniBand 920-9B210-00FN-0D0 oferuje praktyczny element budulcowy dla wysokowydajnych, niskopoziomowych projektów połączeń, które mogą ewoluować wraz ze zmieniającymi się wymaganiami obciążenia.