Transceiver optyczny NVIDIA Mellanox MMAIB00-B150D do centrum danych w praktyce

Transceiver optyczny NVIDIA Mellanox MMAIB00-B150D do centrum danych w praktyce | Równoważenie przepustowości i odległości w połączeniach typu rack-rack i między obiektami

Tło i wyzwanie: kompromis między przepustowością a odległością 25G w środowiskach o mieszanych protokołach

Ponieważ operatorzy centrów danych jednocześnie modernizują swoje sieci dostępu do serwerów z 10G do 25G, utrzymując jednocześnie oddzielne sieci Ethernet i InfiniBand na potrzeby szkolenia sztucznej inteligencji, przechowywania danych i obliczeń ogólnego przeznaczenia, optyczna warstwa połączeń staje przed wyjątkowym zestawem wyzwań. W przypadku transceiverów 25G SFP28 główny kompromis dotyczył zasięgu i elastyczności protokołu: niektóre moduły są zoptymalizowane pod kątem Ethernet 25GBASE-SR o zasięgu 100 metrów na OM4, podczas gdy inne są specjalnie przystosowane do środowisk 25G InfiniBand HDR o podobnym zasięgu, ale różnych wymaganiach dotyczących integralności sygnału. Architekci sieci byli zazwyczaj zmuszeni do utrzymywania oddzielnych jednostek SKU transceiverów dla każdego typu struktury, co zwiększało złożoność zasobów i ryzyko wdrożenia niewłaściwego modułu w danym porcie przełącznika.

Wyzwaniem tym zajęła się niedawno globalna firma świadcząca usługi finansowe, wdrażając nowy klaster badawczy AI w trzech sąsiadujących halach centrów danych. Klaster wymagał łączności 25G zarówno dla ruchu pamięci masowej Ethernet, jak i 25G InfiniBand do komunikacji GPU-GPU, przy odległości łączy od 5 metrów (wewnątrz szafy) do 90 metrów (w poprzek korytarzy i między rzędami). Zespół inżynierów potrzebował pojedynczego transceivera 25G SFP28, który mógłby zapewnić niezawodną wydajność zarówno w protokołach, jak i zakresach odległości, eliminując potrzebę oddzielnych cykli kwalifikacyjnych i redukując zapasy części zamiennych. TheNVIDIA Mellanox MMAIB00-B150Dokazał się optymalnym rozwiązaniem, oferującym optyczny transceiver 25G z obsługą podwójnego protokołu Ethernet/InfiniBand i zasięgiem 100 metrów na światłowodzie OM4.

Rozwiązanie i wdrożenie: ujednolicona strategia optyczna 25G w sieci Ethernet i InfiniBand

Aby stawić czoła wyzwaniom związanym z odległością pasma i elastycznością protokołu, firma dokonała standaryzacji w zakresieNVIDIA Mellanox MMAIB00-B150Djako jedyny transceiver optyczny 25G dla wszystkich wielomodowych łączy światłowodowych w klastrze badawczym AI. TenTransceiver optyczny MMAIB00-B150Ddziała poprzez standardowe dupleksowe światłowód wielomodowy wykorzystujący technologię VCSEL 850 nm, obsługując zarówno protokoły 25GBASE-SR Ethernet, jak i 25G InfiniBand HDR bez konieczności rekonfiguracji oprogramowania sprzętowego. Zasięg modułu wynoszący 100 metrów na światłowodzie OM4 i 70 metrów na światłowodzie OM3 zapewnił wystarczające pokrycie wszystkich łączy wewnątrz hali, a możliwość obsługi dwóch protokołów umożliwiła ujednoliconą inwentaryzację transceiverów w sieci Ethernet firmy i strukturze obliczeniowej InfiniBand.

Wdrożenie przeprowadzono w czterech odrębnych strefach, każda z określonymi wymaganiami dotyczącymi okablowania i łączności:

• Strefa A (wewnątrz regałów, 2–5 metrów):Bezpośrednie kable krosowe LC typu duplex z portów przełącznika SFP28 do kart sieciowych serwera. Margines łącza przekroczył 6 dB, zapewniając niezawodną pracę nawet przy umiarkowanej degradacji złącza.
• Strefa B (Sąsiednie regały, 8–25 metrów):Okablowanie strukturalne OM4 poprzez napowietrzne korytka światłowodowe z pośrednimi panelami krosowymi. Całkowita liczba złączy: 2 sparowane pary na łącze. Margines łącza: 4,5–5,0 dB, mieszczący się w budżecie optycznym modułu, jak udokumentowano wKarta katalogowa MMAIB00-B150D.
• Strefa C (przejście poprzeczne / międzyrzędziowe, 30–70 metrów):Wstępnie zakończone magistrale OM4 poprowadzone pod podniesionymi podłogami. Aby zachować minimalny margines 3,0 dB, zespół przed instalacją wyczyścił powierzchnię czołową wszystkich złączy i zweryfikował tłumienie wtrąceniowe za pomocą miernika mocy optycznej podczas uruchamiania.
• Strefa D (połączenia międzyhalowe, 80–90 metrów):Wykorzystywany do połączeń pomiędzy trzema sąsiadującymi ze sobą halami centrum danych. Margines łącza w odległości 90 metrów na OM4 wynosił około 3,0 dB, co wymagało dokładnego czyszczenia złączy, zgodności z promieniem zgięcia i weryfikacji marginesu mocy podczas uruchamiania.

PonieważNVIDIA Mellanox MMAIB00-B150DJestKompatybilny z MMAIB00-B150Dzarówno dzięki przełącznikom NVIDIA Spectrum Ethernet, jak i przełącznikom NVIDIA Quantum InfiniBand, a także adapterom serii ConnectX i modułom DPU BlueField, zespołowi udało się wdrożyć tę samą jednostkę SKU transceivera w całej strukturze bez konieczności konfiguracji lub kwalifikacji związanych z protokołem. TenMMAIB00-B150D Optyczna sieć centrum danych Mellanoxrozwiązanie wyeliminowało potrzebę oddzielnej inwentaryzacji transceiverów Ethernet i InfiniBand, znacznie zmniejszając złożoność zakupów i ryzyko nieprawidłowego zaopatrzenia.

Wyniki i korzyści: Wymierne korzyści w zakresie kosztów, prostoty i elastyczności protokołu

Analiza po wdrożeniu 1800 łączy optycznych ujawniła kilka wymiernych korzyści. Po pierwsze, poprzez standaryzacjęTransceiver optyczny MMAIB00-B150Dorganizacja wyeliminowała potrzebę stosowania oddzielnych jednostek SKU urządzeń nadawczo-odbiorczych Ethernet i InfiniBand, redukując zapasy urządzeń nadawczo-odbiorczych o 50% i upraszczając procesy zamawiania. TheCena MMAIB00-B150D, porównany z łącznym kosztem oddzielnych modułów obsługujących wyłącznie Ethernet i moduły InfiniBand, zapewnił 30% oszczędności w przeliczeniu na łącze, ponieważ możliwość obsługi dwóch protokołów wyeliminowała potrzebę tworzenia dwóch oddzielnych zapasów, co wiązało się z kosztami ogólnymi.

Po drugie, wskaźnik awaryjności operacyjnej w ciągu pierwszych dziewięciu miesięcy był wyjątkowo niski: konieczna była tylko wymiana czterech transiwerów z 1800 jednostek – wskaźnik awaryjności wyniósł 0,22% – czyli znacznie mniej niż średnia w branży wynosząca 0,5–0,8% dla transceiverów 25G SFP28 w środowiskach o mieszanych protokołach. Tę niezawodność można przypisać fabrycznie zoptymalizowanemu zestrojeniu optycznemu i rygorystycznej kontroli jakości MMAIB00-B150D, a także przestrzeganiu przez zespół procedur czyszczenia określonych w instrukcjiSpecyfikacje MMAIB00-B150D.

Po trzecie, wydajność energetycznaNVIDIA Mellanox MMAIB00-B150D— zużywając mniej niż 1,5 W na moduł — przyczyniło się do wymiernych oszczędności w chłodzeniu. W całej wdrożonej flocie 1800 nadajników-odbiorników zużyło łącznie około 2,6 kW w porównaniu z szacunkowymi 3,6 kW w przypadku utrzymania oddzielnych modułów Ethernet i InfiniBand (każdy o nieco innych profilach mocy). Ta redukcja mocy o 28% bezpośrednio poprawiła wskaźnik efektywności wykorzystania energii (PUE) obiektu o szacunkowo 0,02 punktu.

Z operacyjnego punktu widzenia możliwość obsługi dwóch protokołów zapewniła znaczne korzyści podczas czynności konserwacyjnych. Gdy przełącznik w sieci Ethernet wymagał wymiany, zespół mógł po prostu przenieść istniejące transceivery MMAIB00-B150D ze starego przełącznika na nowy, bez obawy o kompatybilność protokołów. Podobnie w przypadku rozbudowy struktury InfiniBand wykorzystano tę samą jednostkę SKU transceivera, eliminując potrzebę osobnego prognozowania zapotrzebowania na transceivery specyficzne dla protokołu. Interfejs cyfrowego monitorowania diagnostycznego (DDM) modułu zapewnia wgląd w czasie rzeczywistym w stan optyczny obu struktur, umożliwiając zespołowi operacyjnemu identyfikowanie i zajmowanie się degradacją łącza, zanim wpłynie to na obciążenia produkcyjne.

Podsumowanie i perspektywy: plan wszechstronnej architektury optycznej 25G

Doświadczenie wdrażania zNVIDIA Mellanox MMAIB00-B150Dw wielu strefach odległości oraz w sieciach Ethernet i InfiniBand wyraźnie pokazuje, że pojedynczy, dobrze scharakteryzowany transceiver 25G SFP28 może skutecznie sprostać wymaganiom kompromisu między szerokością pasma a odległością oraz elastyczności protokołu nowoczesnych centrów danych AI. Wykorzystując 100-metrowy zasięgMMAIB00-B150Ddzięki światłowodowi OM4 i jego możliwościom podwójnego protokołu architekci mogą uniknąć kosztów i złożoności wielu optycznych jednostek SKU, zachowując jednocześnie integralność sygnału i prostotę operacyjną w połączeniach wewnątrz szaf, między szafami, w poprzek korytarzy i między halami.

Patrząc w przyszłość, w miarę jak 25G Ethernet i 25G InfiniBand będą w dalszym ciągu służyć jako podstawa warstwy dostępu dla szkoleń AI, HPC i korporacyjnych środowisk pamięci masowej, zapotrzebowanie na wszechstronne, dwuprotokołowe optyczne transceivery będzie tylko rosło. Karta MMAIB00-B150D jest dobrze przygotowana na tę trajektorię, ponieważ jej szeroka kompatybilność z platformami NVIDIA Mellanox i standardowa obudowa SFP28 zapewniają bezproblemową integrację zarówno z obecną infrastrukturą, jak i przyszłymi aktualizacjami. W przypadku organizacji planujących podobne migracje z 10G do 25G lub wdrażających sieci szkieletowe AI o mieszanych protokołach, podejście wielopoziomowe sprawdzone w tym wdrożeniu stanowi praktyczny plan działania: standaryzacja na MMAIB00-B150D dla wszystkich wielomodowych łączy światłowodowych 25G o długości do 100 metrów, rezerwowanie rozwiązań o większym zasięgu dla łączy przekraczających 100 metrów oraz utrzymanie ujednoliconej struktury monitorowania, która wykorzystuje dane DDM do proaktywnego zarządzania stanem optycznym zarówno w sieci Ethernet, jak i Tkaniny InfiniBand.

Szczegółowe szablony budżetu łączy, listy kontrolne instalacji i protokoły czyszczenia można znaleźć w dokumencieKarta katalogowa MMAIB00-B150Doraz uwagi dotyczące zastosowań optycznych NVIDIA Mellanox.