Transceiver optyczny NVIDIA Mellanox MMA4Z00-NS do centrum danych w praktyce

NVIDIA Mellanox MMA4Z00-NS Transceiver optyczny w centrum danych w praktyce.

Temat i wyzwanie: dylemat odległości pod wpływem przepustowości

Wiodący dostawca usług internetowych napotkał klasyczne wyzwanie z infrastrukturą centrum danych podczas modernizacji klastra szkoleniowego AI w północnej chińskiej strefie dostępności.Węzły obliczeniowe złożone z procesorów graficznych NVIDIA H200 były rozmieszczone na sąsiednich stojakach w tej samej hali oraz w dwóch fizycznych salach maszynowych na różnych piętrach.Wymóg był jasny: zapewnienie pełnej przepustowości 800G przy jednoczesnym pokryciu odległości łącza do 80 metrów.Tradycyjne nadajniki 800G SR8 zazwyczaj osiągają maksymalną odległość 50 metrów przez światło OM4 multimodowe, natomiast rozwiązania 800G DR8/FR8, choć oferują dłuższy zasięg, mają znacznie wyższe koszty i profile zużycia energii nieodpowiednie dla wysokiej gęstości wdrożeń wewnątrz klastra.

Aby pogłębić wyzwanie, architektura klastra wymagała jednoczesnej obsługi zarówno InfiniBand (dla komunikacji GPU-GPU) jak i Ethernet (dla tkanin pamięci masowej i zarządzania),usuwające możliwość stosowania optyki specyficznej dla protokołuZespół inżynierów potrzebował pojedynczej, zunifikowanej platformy nadajnika, która mogłaby zlikwidować lukę między wydajnością a zasięgiem, nie naruszając gęstości portu ani prostoty działania.TutajNVIDIA Mellanox MMA4Z00-NSwprowadzono do procesu oceny.

Rozwiązanie i wdrożenie: MMA4Z00-NS jako jednolita strategia optyczna

Po przeanalizowaniuArkusz danych MMA4Z00-NSZespół ds. architektury sieci dostawcy wybrałNVIDIA Mellanox MMA4Z00-NSModuł ten może być wykorzystywany jako standardowy nadajnik optyczny zarówno w połączeniach wewnątrz stoiska, jak i między pomieszczeniami.MMA4Z00-NS 2x400G InfiniBand/EthernetSystem ten był szczególnie atrakcyjny, umożliwiając jednemu SKU obsługę podwójnych domen protokołu.

Rozmieszczenie było zorganizowane w dwóch różnych fazach:

• Faza 1 ️ Wnętrze regału (≤ 15 m):Wewnątrz każdego półkiMMA4Z00-NSzostał połączony z wysokiej jakości kablami patchami OM4 w celu zapewnienia łączności 800G między przełącznikami liści i węzłami obliczeniowymi GPU.Architektura 8×100G PAM4 zapewnia stałą integralność sygnału z marginesem znacznie wyższym niż specyfikacje IEEE/IBTA, co potwierdziło badanie współczynnika błędów bitów (BER) na miejscu.
• Faza 2 Inter-Room (do 80 m):W przypadku dłuższych połączeń między pomieszczeniami zespół inżynierów wykorzystał ulepszoną wyrównanie modułu i przesyłanie/odbieranie budżetów mocy optycznej.MMA4Z00-NS 800G OSFP SR8 nadajnik, moduł utrzymywał bezbłędną transmisję przez 80 metrów światła OM4 ̇przekraczając typową 50-metrową specyfikację ̇poprzez optymalizację parametrów dostosowania DSP według szczegółowychSpecyfikacje MMA4Z00-NS.

Dostawca wykorzystywał podejście hybrydowe do okablowania: kable trunkowe MPO-12 do strukturyzowanych przebiegów poziomych w hali danych i kończące się panelami kasetowymi MPO do połączeń między pomieszczeniami.Projekt ten zminimalizował straty wstawienia i zapewnił, żeKompatybilny z MMA4Z00-NSSystem łączności łączności łączności łączności łączności łączności łączności łączności łączności łączności łączności łączności łączności

Wyniki i korzyści operacyjne

Po pełnym uruchomieniuNVIDIA Mellanox MMA4Z00-NSW przypadku 144 połączeń dostawca zgłosił kilka wymiarowych usprawnień:

• Jednolity inwentaryzator:Jedynego nadajnika SKU zastąpiło trzy wcześniej rozważane alternatywy (800G SR8, 400G × 2 i FR4), zmniejszając zapasy części zamiennych o 67% i zmniejszając złożoność zamówień.Zespół określa to podejście jakoMMA4Z00-NS 800G rozwiązanie nadajnika OSFP SR8dla klastrów o mieszanej odległości.
• Rozszerzony zasięg bez dodatkowych kosztów:Wykorzystując standardowe światłowody multimodowe i zoptymalizowane możliwości dostosowywania DSP szczegółowo opisane wArkusz danych MMA4Z00-NSZespół osiągnął zasięg 80 metrów za ułamek kosztów alternatyw jednomodowych.
• Elastyczność protokołu:The ability to switch between InfiniBand and Ethernet modes via firmware configuration meant that the same physical infrastructure could support GPU compute traffic and storage management traffic—a feature no other transceiver in the evaluation offered.
• Wydajność energetyczna i cieplna:Przy mocy poniżej 12 W na port,MMA4Z00-NSprzyczyniła się do całkowitej oszczędności mocy klastra w wysokości około 2,8 kW w porównaniu z alternatywną konstrukcją opartą na DR8, znacząco zmniejszając zapotrzebowanie na chłodzenie w półkach o dużej gęstości.

Pomiary opóźnienia sieci wykazały stały wkład nadajnika pod 100ns, znacznie w granicach tolerancji wymaganych dla rozproszonych obciążeń szkoleniowych sztucznej inteligencji.MMA4Z00-NS na sprzedażW związku z tym, że w okresie od dnia 1 stycznia 2007 r. do dnia 31 grudnia 2007 r.

Podsumowanie i perspektywy

WdrożenieMMA4Z00-NSW tym dużym klastrze AI wykazuje się, że architekci centrów danych nie muszą już wybierać między dużą przepustowością i praktycznym zasięgiem podczas projektowania połączeń.NVIDIA Mellanox MMA4Z00-NSz powodzeniem łączy różnice między odległościami wewnątrz regału i pomieszczeń,udowadniając, że dobrze dostosowany nadajnik 800G SR8 może zapewnić bezbłędną pracę poza jego typowym zakresem specyfikacji, gdy jest połączony z odpowiednim okablowaniem i optymalizacją DSP.

W przyszłości dostawca oceniaCena MMA4Z00-NSW ramach szerszego planu ekspansji dla dodatkowych stref dostępności, wczesne opinie sugerują, że całkowity koszt posiadania, uwzględniając uproszczenie zapasów, oszczędności energii,Wraz z postępami w branży w kierunku 1.6T i dalej,praktyczne wnioski pozyskane z tego wdrożenia, odległość i koszty będą nadal bardzo istotne, aMMA4Z00-NSjest wzorem odniesienia do projektowania i wdrażania optyki nowej generacji.