Porównanie Sieci HPC: InfiniBand vs. Ethernet

Data: 12 listopada 2023

Nieustanne dążenie do obliczeń w skali eksa i złożonych obciążeń AI doprowadziło infrastrukturę high-performance computing (HPC) do granic możliwości. W sercu tej ewolucji leży krytyczna decyzja architektoniczna: wybór struktury połączeń. Debata na temat InfiniBand kontra Ethernet jest kluczowa dla projektowania wydajnych środowisk sieci HPC. Z przejęciem przez NVIDIA firmy Mellanox, lidera w zakresie wysokowydajnych połączeń, konkurencja ta nasiliła się, napędzając innowacje i zmuszając do porównań opartych na danych dla klientów korporacyjnych i badawczych.

Surowa wydajność jest głównym czynnikiem różnicującym. InfiniBand, zaprojektowany specjalnie dla środowisk centrów danych o niskim opóźnieniu i wysokiej przepustowości, ma znaczącą przewagę.

• Opóźnienie: InfiniBand konsekwentnie zapewnia opóźnienie end-to-end poniżej 600 nanosekund, co jest krytyczne dla komunikacji MPI (Message Passing Interface) w ściśle powiązanych symulacjach. Ethernet, nawet z RoCE (RDMA over Converged Ethernet), zwykle działa w zakresie mikrosekund (>1,2 µs), wprowadzając wąskie gardła w obciążeniach równoległych.
• Przepustowość: Chociaż obie technologie oferują rozwiązania 200G i 400G, kontrola przeciążenia i adaptacyjne routowanie InfiniBand zapewniają bardziej spójne i wydajne wykorzystanie przepustowości, maksymalizując wydajność aplikacji.

W przypadku aplikacji, w których czas rozwiązania jest najważniejszy, takich jak modelowanie klimatu lub sekwencjonowanie genomu, ta luka w wydajności bezpośrednio przekłada się na przyspieszenie badań.

Poza podstawowymi metrykami, architektura InfiniBand wprowadza zmieniające paradygmat funkcje, którym Ethernet ma trudności dorównać.

• SHARP (Scalable Hierarchical Aggregation and Reduction Protocol): Ta przełomowa funkcja przełączników Mellanox InfiniBand wykonuje operacje arytmetyczne (takie jak redukcje MPI) w strukturze sieci, odciążając to zadanie z procesora. Może to przyspieszyć operacje zbiorcze nawet o 50%, co jest funkcją niedostępną w standardowym Etherncie.
• Natywna kontrola przeciążenia: Wbudowane adaptacyjne routowanie InfiniBand dynamicznie zarządza ruchem, aby uniknąć hotspotów. Ethernet opiera się na dodatkowych protokołach (np. DCQCN) do zarządzania przeciążeniem, co może być mniej wydajne i wymagać złożonego dostrajania.

Dominacja Ethernetu w centrach danych ogólnego przeznaczenia stanowi przekonujący argument oparty na znajomości i ekosystemie.

• Wszechobecność i zestaw umiejętności: Ethernet jest powszechnie rozumiany, a ogromna pula inżynierów sieciowych zna jego zarządzanie i rozwiązywanie problemów. Może to zmniejszyć koszty operacyjne i szkoleniowe.
• Konwergencja: Pojedyncza struktura Ethernet może potencjalnie przenosić ruch związany z pamięcią masową, danymi i zarządzaniem, upraszczając architekturę sieci. Jednak ta konwergencja często wymaga złożonych zasad QoS w celu ochrony wrażliwego na wydajność ruchu sieci HPC.
• Koszt: Historycznie komponenty Ethernet miały niższą cenę. Jednak luka znacznie się zmniejszyła wraz z wprowadzeniem szybkiego Ethernetu, a całkowity koszt posiadania (TCO), biorąc pod uwagę wydajność na wat i wydajność na dolara, często przemawia na korzyść InfiniBand w przypadku dedykowanych klastrów HPC.

Wybór między InfiniBand a Ethernet nie jest kwestią tego, który jest uniwersalnie lepszy, ale który jest optymalny dla konkretnego obciążenia. Dla czystych, krytycznych dla misji środowisk sieci HPC— gdzie osiągnięcie najszybszego czasu rozwiązania dla złożonych obliczeń jest głównym celem — InfiniBand, zasilany technologią Mellanox, pozostaje niekwestionowanym liderem wydajności. Jego zaawansowane możliwości obliczeniowe w sieci i doskonała wydajność zapewniają wymierny zwrot z inwestycji dla przedsiębiorstw badawczych i opartych na sztucznej inteligencji. Z drugiej strony, w środowiskach o mieszanych obciążeniach lub klastrach, w których ekstremalna wydajność jest mniej krytyczna, szybki Ethernet oferuje znajomą i wydajną alternatywę.