Rozwiązanie przyspieszenia szkolenia AI: Integracja Mellanox DPU i GPU Cluster

W miarę jak modele sztucznej inteligencji rosną w skali wykładniczej pod względem wielkości i złożoności, tradycyjne architektury centrów danych osiągają swoje granice.Szkolenie w zakresie sztucznej inteligencjiZwiększyło efektywnośćSieci GPUW niniejszym artykule analizuje się, w jaki sposób strategiczna integracjaMellanox DPU(Data Processing Unit) w klastrach GPU rozwiązuje krytyczne wąskie gardła, obniża koszty obsługi host CPU i otwiera nowe poziomy skalowalności i wydajności dla dużych obciążeń roboczych sztucznej inteligencji.

Ery modeli o liczbie bilionów parametrów mocno ugruntowały klaster GPU jako silnik nowoczesnej sztucznej inteligencji.procesor serwera hosta jest przytłoczony ruchem danych, harmonogramu i zadań komunikacyjnych.może pochłaniać ponad 30% cykli procesora serwera, które są desperacko potrzebne do procesu szkolenia sztucznej inteligencjiTa nieefektywność bezpośrednio zwiększa czas szkolenia i całkowity koszt posiadania (TCO).

Główne wąskie gardło w dużej skaliSzkolenie w zakresie sztucznej inteligencjiNajważniejsze wyzwania obejmują:

• Głód CPU:Procesory hostowe są zablokowane przez zarządzanie stosami sieciowymi (TCP / IP), sterownikami pamięci masowej i wirtualizacją, pozostawiając mniej zasobów dla ram sztucznej inteligencji.
• Utrudnienia w wprowadzaniu i wyprowadzaniu:Przeniesienie dużych zbiorów danych z pamięci pamięci do pamięci GPU powoduje zatłoczenie sieci i busów PCIe, co prowadzi do czasu bezczynności GPU.
• Koszty bezpieczeństwa:W środowiskach z wieloma najemcami stosowanie polityk szyfrowania i bezpieczeństwa dodatkowo obciąża procesor hosta.
• NieefektywnySieci GPU:Operacje komunikacji zbiorowej (takie jak All-Reduce) są obsługiwane w oprogramowaniu, tworząc opóźnienie i nerwowość, które spowalniają synchronizowane szkolenie.

Wyzwania te tworzą scenariusz, w którym drogie procesory graficzne są pozostawione w oczekiwaniu na dane, drastycznie zmniejszając ogólne wykorzystanie i ROI infrastruktury sztucznej inteligencji.

W sprawieMellanox DPU(obecnie część linii produktów BlueField firmy NVIDIA) jest rewolucyjnym procesorem zaprojektowanym specjalnie do rozwiązania tych wąskich gardła infrastruktury.Nie jest to tylko karta interfejsu sieciowego (NIC), ale w pełni programowalny system na układzie (SoC), który obejmuje potężne rdzenie ramienia i specjalistyczne silniki przyspieszenia. Wdrażając DPU na każdym serwerze, organizacje mogą stworzyć warstwę infrastruktury przyspieszonej sprzętem.

• Wykorzystanie infrastruktury:W sprawieMellanox DPUWykorzystuje wszystkie funkcje sieci, pamięci masowej i zabezpieczeń z hosta CPU.To "wyzwala" rdzenie procesora wyłącznie dla aplikacji AI.
• Przyspieszona komunikacja:DPU wyposażone jest w oprogramowanie Remote Direct Memory Access (RDMA), które umożliwia procesorom graficznym bezpośredni dostęp do pamięci innych procesorów graficznych w sieci z bardzo niskim opóźnieniem,kamień węgielny wysokiej wydajnościSieci GPU.
• Zwiększona skalowalność:Po zwolnieniu CPU hosta z obowiązków związanych z infrastrukturą skalowanie klastra nie prowadzi do liniowego zwiększenia kosztów operacyjnych CPU.Umożliwia to bardziej wydajne i przewidywalne skalowanie do dużych liczb węzłów.
• Bezpieczeństwo bez zaufania:DPU umożliwia model bezpieczeństwa "zero-trust", zapewniając izolowany sprzętowo root-of-trust, zarządzanie kluczami i możliwość uruchamiania aplikacji bezpieczeństwa w izolowanym środowisku na samym DPU,oddzielony od gospodarza.

ZintegrowanieMellanox DPUwprowadza natychmiastowe i mierzalne ulepszenia w odniesieniu do wszystkich kluczowych wskaźników wydajności.

Zwiększenie wydajności przekłada się bezpośrednio na wartość biznesową: szybszy czas modelowania, niższe koszty chmury/przetwarzania,i zdolność do rozwiązywania bardziej złożonych problemów w ramach tej samej infrastruktury.

Trasa sztucznej inteligencji jest jasna: modele będą nadal rosnąć, a klastry będą jeszcze bardziej rozproszone.Tradycyjne podejście do rozwiązywania problemu infrastruktury z większą liczbą procesorów jest niezrównoważone.Mellanox DPUreprezentuje fundamentalną zmianę architektoniczną, tworząc dedykowaną, przyspieszoną płaszczyznę infrastruktury, która pozwala klastrom GPU osiągnąć bezprecedensowy poziom wydajności i wydajności.Jest to kluczowy element dla każdej organizacji, która chce utrzymać przewagę konkurencyjną w badaniach i rozwoju sztucznej inteligencji..