Rozwiązanie techniczne dotyczące transceivera optycznego dla centrum danych NVIDIA Mellanox MMAIB00-B150D

Rozwiązanie techniczne dotyczące transceivera optycznego dla centrum danych NVIDIA Mellanox MMAIB00-B150D | Równoważenie przepustowości i odległości w połączeniach typu rack-rack i między obiektami

1. Analiza tła projektu i wymagań

W miarę ewolucji architektur centrów danych w celu obsługi coraz bardziej wymagających szkoleń w zakresie sztucznej inteligencji, obliczeń o wysokiej wydajności (HPC) i obciążeń pamięci masowej w przedsiębiorstwach, wzajemne połączenia w warstwie fizycznej między serwerami, przełącznikami i systemami pamięci masowej muszą zapewniać zarówno wysoką przepustowość, jak i elastyczność operacyjną. W warstwie dostępu 25G, w której występuje większość połączeń serwer-przełącznik, architekci sieci stoją przed krytycznym wyzwaniem projektowym: jak zapewnić łączność 25G na różnych dystansach (od 5 do 100 metrów), obsługując jednocześnie protokoły Ethernet i InfiniBand, bez mnożenia typów urządzeń nadawczo-odbiorczych lub pogarszania integralności sygnału. Tradycyjne podejście polegające na utrzymywaniu oddzielnych jednostek SKU transceiverów dla każdego protokołu i warstwy odległości powoduje znaczne obciążenie operacyjne, ponieważ sieci Ethernet i InfiniBand wymagają różnych cykli kwalifikacyjnych, a moduły o krótkim i dużym zasięgu charakteryzują się odmienną strukturą kosztów.

Wyzwanie to potęgują dwa równoległe trendy branżowe. Po pierwsze, rosnące zastosowanie architektur mieszanej sieci szkieletowej w klastrach sztucznej inteligencji – w których Ethernet obsługuje ruch związany z pamięcią masową i zarządzaniem, a InfiniBand obsługuje komunikację między procesorami graficznymi – wymaga transceiverów optycznych, które mogą bezproblemowo działać w obu środowiskach protokołów. Po drugie, wymogi zrównoważonego rozwoju powodują zmniejszenie zużycia energii na port, ponieważ przełączniki o dużej gęstości z 48 lub 64 portami SFP28 mogą zużywać znaczną energię, jeśli transceivery nie są zoptymalizowane pod kątem wydajności. Wymagane jest ustrukturyzowane rozwiązanie techniczne — takie, które opiera się na jednym, dobrze scharakteryzowanym transceiverze 25G SFP28 z możliwością obsługi dwóch protokołów, jasnymi wytycznymi dotyczącymi planowania odległości, procedurami sprawdzania budżetu łącza i proaktywnym monitorowaniem stanu zarówno w sieciach Ethernet, jak i InfiniBand.

2. Ogólny projekt architektury sieci/systemu

Proponowana architektura przyjmuje dwuwarstwową topologię typu „spine-leaf” z portami 25G SFP28 służącymi jako warstwa dostępowa dla wszystkich węzłów obliczeniowych, pamięci masowej i GPU. Każdy przełącznik liściowy, zwykle wyposażony w 48 lub 64 porty SFP28, łączy się z serwerami i kontrolerami pamięci masowej za pośrednictwem łączy 25G, podczas gdy wiele łączy nadrzędnych 100G lub 400G łączy warstwę liścia z warstwą grzbietową w celu obsługi ruchu między kapsułami i połączeniami między centrami danych (DCI). Architektura obsługuje zarówno Ethernet (do przechowywania i zarządzania), jak i InfiniBand (dla struktur GPU-GPU i HPC) w ramach tej samej konstrukcji warstwy fizycznej, wykorzystując spójną jednostkę SKU transceivera optycznego dla wszystkich łączy dostępowych 25G niezależnie od protokołu.

Dla tej architekturyNVIDIA Mellanox MMAIB00-B150Dzostał wybrany jako jedyny transceiver optyczny 25G dla wszystkich łączy warstwy dostępowej o długości do 100 metrów na światłowodzie OM4 i 70 metrów na światłowodzie OM3. TenTransceiver optyczny MMAIB00-B150Ddziała poprzez dupleksowy światłowód wielomodowy wykorzystujący technologię VCSEL 850 nm, obsługując zarówno protokoły 25GBASE-SR Ethernet, jak i 25G InfiniBand HDR bez konieczności rekonfiguracji oprogramowania sprzętowego. Możliwość obsługi dwóch protokołów ma kluczowe znaczenie dla ujednoliconej strategii SKU architektury, ponieważNVIDIA Mellanox MMAIB00-B150DJestKompatybilny z MMAIB00-B150Dzarówno z przełącznikami NVIDIA Spectrum Ethernet, jak i przełącznikami NVIDIA Quantum InfiniBand, a także adapterami serii ConnectX i jednostkami DPU BlueField.

Architektura obejmuje również ustandaryzowany projekt instalacji światłowodowej wykorzystujący dupleksowe złącza LC i światłowód wielomodowy OM4 we wszystkich nowych instalacjach, z możliwością ponownego wykorzystania istniejącej infrastruktury OM3 w przypadku krótszych łączy, jeśli pozwala na to margines łącza. Taka konstrukcja gwarantuje, że dowolny port SFP28 można połączyć krzyżowo z dowolnym punktem końcowym w promieniu 100 metrów, zapewniając maksymalną elastyczność w zakresie równoważenia pojemności i cykli odświeżania sprzętu. Przewodnik projektowania odwołuje się doSpecyfikacje MMAIB00-B150Ddla promienia zgięcia (minimum 30 mm dynamiki), czystości złączy (zgodnie z IEC 61300-3-35) i budżetów strat wtrąceniowych (łącznie maksymalnie 2,5 dB dla całego łącza, łącznie ze złączami i spawami).

3. Rola i kluczowe cechy NVIDIA Mellanox MMAIB00-B150D w rozwiązaniu

W ramach tej architektury,Transceiver optyczny MMAIB00-B150Ddziała jako ustandaryzowany interfejs optyczny, który łączy domenę elektryczną przełącznika/adaptera z infrastrukturą światłowodową, zapewniając stałą wydajność zarówno w sieciach Ethernet, jak i InfiniBand. Jego kluczowe cechy techniczne mają kluczowe znaczenie dla powodzenia strategii pojedynczego SKU:

• Działanie dwuprotokołowe:Obsługuje zarówno 25GBASE-SR Ethernet, jak i 25G InfiniBand HDR z funkcją automatycznego wykrywania, umożliwiając ujednoliconą inwentaryzację transceiverów w heterogenicznych strukturach.
• Nadajnik VCSEL 850 nm:Zapewnia niezawodną optyczną moc wyjściową (-4 do +4 dBm) przy szumie o niskim względnym natężeniu (RIN), obsługując diagramy czystego oka w światłowodzie wielomodowym przy sygnalizacji NRZ 25,78 Gb/s.
• Odbiornik PIN o wysokiej czułości:Typowa czułość -8,5 dBm, zapewniająca margines łącza wynoszący co najmniej 3,0 dB na OM4 w odległości 100 metrów i 5,0 dB na OM4 w odległości 70 metrów, co uwzględnia straty i starzenie się złączy.
• Efektywność energetyczna:Typowy pobór mocy poniżej 1,5 W, co umożliwia gęstą konfigurację portów bez przekraczania budżetów termicznych.
• Zintegrowany cyfrowy monitoring diagnostyczny (DDM):Raportowanie w czasie rzeczywistym mocy Tx, mocy Rx, temperatury, napięcia i prądu polaryzacji za pośrednictwem standardowego interfejsu zarządzania I²C, umożliwiając proaktywne wykrywanie usterek w obu środowiskach protokołów.
• Szeroki zakres temperatur pracy:Temperatura obudowy od 0°C do 70°C, zapewniająca niezawodną pracę w środowiskach szafowych o dużej gęstości i podwyższonej temperaturze otoczenia.
• Kwalifikacja fabryczna zarówno dla sieci Ethernet, jak i InfiniBand:Eliminuje potrzebę oddzielnych cykli kwalifikacji specyficznych dla protokołu, redukując czas i ryzyko wdrożenia.

Funkcje te są szczegółowo udokumentowane w dokumencieKarta katalogowa MMAIB00-B150D, który obejmuje maski diagramów oka, krzywe tolerancji drgań i rysunki mechaniczne umożliwiające integrację z narzędziami do projektowania szafy. Arkusz danych zawiera również szczegółowe tabele budżetu łącza, do których odwołuje się się na etapie planowania architektury w celu sprawdzenia, czy całkowite tłumienie wtrąceniowe każdego łącza mieści się w budżecie optycznym modułu.

4. Zalecenia dotyczące wdrożenia i skalowania (wraz z opisem typowej topologii)

W przypadku początkowego wdrożenia zalecamy podejście do podziału na strefy strukturalne, które odwzorowuje poziomy odległości na standardowe typy okablowania i zapewnia spójny margines łącza dla wszystkich połączeń, niezależnie od protokołu. Następująca typowa topologia jest stosowana w przypadku 48-portowego przełącznika listkowego obsługującego 48 serwerów w sześciu szafach (8 serwerów w szafie), przy odległościach między szafami w zakresie od 5 do 90 metrów:

• Strefa A (wewnątrz regałów, 2–5 metrów):Bezpośrednie kable krosowe LC typu duplex od przełącznika liściowego do serwerów. Margines łącza przekracza 6 dB, zapewniając niezawodną pracę nawet przy umiarkowanej degradacji złącza.
• Strefa B (Szafy sąsiadujące, 8–25 metrów):Okablowanie strukturalne OM4 poprzez napowietrzne korytka światłowodowe z pośrednimi panelami krosowymi. Całkowita liczba złączy: 2 sparowane pary na łącze. Margines łącza: 4,5–5,0 dB, mieszczący się w granicach minimum 3,0 dB modułu.
• Strefa C (przejście poprzeczne / międzyrzędziowe, 30–70 metrów):Wstępnie zakończone magistrale OM4 z fabrycznie wypolerowanymi złączami, poprowadzone pod podniesionymi podłogami. Margines łącza: 3,5–4,0 dB, nadal komfortowy nawet przy uwzględnieniu do 0,5 dB starzenia w ciągu 5 lat.
• Strefa D (Międzyhala/kampus, 70–100 metrów):Używane tylko w przypadku połączeń na krótkich kampusach, gdzie istnieje infrastruktura OM4. Margines łącza na 100 metrach wynosi około 3,0 dB, co wymaga dokładnego czyszczenia złącza, zgodności z promieniem zgięcia i weryfikacji marginesu mocy podczas uruchamiania.

Skalowanie poza pojedynczy moduł odbywa się według tych samych zasad podziału na strefy, z dodatkiem pośrednich przełączników agregujących, które kończą łącza dostępowe 25G z wielu modułów. PonieważTransceiver optyczny MMAIB00-B150Dwykorzystuje pojedynczą jednostkę SKU z możliwością obsługi dwóch protokołów, rozbudowa nie wymaga prognozowania typów transiwerów na protokół lub odległość — wszystkie łącza są obsługiwane identycznie. Upraszcza to logistykę i pozwala zespołowi operacyjnemu utrzymywać niewielki zapas zapasowych nadajników-odbiorników (zwykle 5% rozmieszczonych jednostek) w celu szybkiej wymiany podczas konserwacji.

W przypadku planowania odległości poniższa tabela zawiera wytyczne dotyczące maksymalnego zasięgu w zależności od rodzaju światłowodu i budżetu łącza:

W przypadku wdrażania na odległości bliskie maksymalnemu zasięgowi zalecamy wykonanie pomiaru mocy optycznej podczas uruchomienia przy użyciu źródła światła i miernika mocy, porównując zmierzoną stratę z budżetem obliczonym na podstawieKarta katalogowa MMAIB00-B150D. Ten etap weryfikacji zapewnia wykrycie wszelkich defektów lub zanieczyszczeń okablowania przed wprowadzeniem łącza do produkcji.

5. Eksploatacja i konserwacja: monitorowanie, rozwiązywanie problemów i optymalizacja

Cykl życia operacyjnego infrastruktury optycznej opartej na MMAIB00-B150D wymaga systematycznego podejścia do monitorowania i zarządzania awariami, wykorzystując możliwości modułu DDM zarówno w sieciach Ethernet, jak i InfiniBand. Zalecamy integrację interfejsu zarządzania I²C z centralnym systemem zarządzania siecią (NMS) przy użyciu standardowego MIB SFF-8472 dla modułów SFP. Kluczowe progi, które należy skonfigurować dla alertów proaktywnych, obejmują:

• Spadek mocy Tx:Alarm, jeśli moc wyjściowa spadnie o więcej niż 2,0 dB w stosunku do nominalnego, co wskazuje na potencjalne starzenie się VCSEL lub zanieczyszczenie złącza po stronie nadawczej.
• Margines mocy Rx:Ostrzeżenie, jeśli odbierana moc zbliża się do -8,0 dBm (przy czułości -8,5 dBm), wskazując nadmierną utratę łącza, uszkodzenie kabla lub złe ustawienie złączy.
• Skoki temperaturowe:Ostrzegaj, jeśli temperatura obudowy przekroczy 65°C, co sugeruje zablokowanie przepływu powietrza, awarię wentylatora lub wzrost temperatury otoczenia.
• Dryft prądu polaryzacji:Monitoruj zmiany prądu polaryzacji lasera w czasie; trwały wzrost powyżej 30% wartości nominalnej może wskazywać na degradację VCSEL.

W przypadku degradacji lub awarii łącza należy postępować według zorganizowanego protokołu rozwiązywania problemów:

1. Sprawdź odczyty DDM, aby wyizolować usterkę — porównaj wartości Tx i Rx z oczekiwanymi zakresami zSpecyfikacje MMAIB00-B150Di sprawdź, czy problem dotyczy zarówno sieci Ethernet, jak i InfiniBand, czy tylko jednego protokołu.
2. Sprawdź złącza typu duplex LC na obu końcach za pomocą mikroskopu czołowego; oczyścić w przypadku wykrycia zanieczyszczeń zgodnie z normami IEC 61300-3-35.
3. Przetestuj łącze za pomocą sprawnego transceivera MMAIB00-B150D, aby potwierdzić, czy usterka leży w module czy w instalacji światłowodowej.
4. Jeśli problem będzie się powtarzał, wykonaj test OTDR, aby zlokalizować wszelkie pęknięcia włókien, nadmierne zagięcia lub uszkodzenia spawów w ścieżce okablowania strukturalnego.
5. W przypadku problemów specyficznych dla protokołu sprawdź, czy konfiguracja przełącznika/punktu końcowego odpowiada trybowi protokołu automatycznie wykrywanemu przez transiwer; chociaż MMAIB00-B150D obsługuje automatyczne wykrywanie, niektóre starsze platformy mogą wymagać ręcznej konfiguracji protokołu.

Możliwości optymalizacji obejmują okresowe audyty zarządzania kablami, aby zapewnić zgodność z minimalnym promieniem zgięcia i sprawdzić, czy wiązki włókien nie są ściskane lub poddawane nadmiernemu naprężeniu. Dodatkowo, ponieważCena MMAIB00-B150Djest konkurencyjny w stosunku do innych kwalifikowanych modułów 25G SR, oferując jednocześnie możliwość pracy w dwóch protokołach, zalecamy utrzymywanie niewielkiego zapasu zapasowych transceiverów (około 5% wszystkich wdrożonych jednostek), aby umożliwić szybką wymianę i zminimalizować MTTR. W przypadku wdrożeń na dużą skalę rozważ wdrożenie zautomatyzowanych pulpitów nawigacyjnych dotyczących stanu urządzeń optycznych, które agregują dane DDM ze wszystkich łączy w sieci Ethernet i InfiniBand, umożliwiając konserwację predykcyjną i planowanie wydajności.

6. Podsumowanie i ocena wartości

TheNVIDIA Mellanox MMAIB00-B150Doparte na nich rozwiązanie techniczne zapewnia pragmatyczną, sprawdzoną w praktyce metodologię równoważenia przepustowości, odległości i elastyczności protokołu w sieciach dostępowych do centrów danych 25G. Standaryzacja w oparciu o jeden transceiver SFP28 zgodny z IEEE —Transceiver optyczny MMAIB00-B150D— architektura eliminuje złożoność zarządzania wieloma jednostkami SKU dla różnych protokołów i poziomów odległości, zmniejsza zapasy części zamiennych i upraszcza planowanie wdrożenia. Zastosowana w module technologia VCSEL 850 nm w połączeniu z odbiornikiem PIN o wysokiej czułości zapewnia niezawodną wydajność w przypadku światłowodów wielomodowych OM3 i OM4 na dystansie do 100 metrów, pokrywając zdecydowaną większość łączy wewnątrz centrów danych i kampusów, jednocześnie obsługując sieci Ethernet i InfiniBand.

Kluczowe wskaźniki wartości z porównywalnych wdrożeń obejmują:

• Redukcja zapasów:Pojedynczy kod SKU transiwera zastępuje dwa numery katalogowe specyficzne dla protokołu i dwa numery katalogowe dotyczące odległości, redukując obciążenie logistyczne o 60–70%.
• Efektywność energetyczna:Przy mocy < 1,5 W na moduł, MMAIB00-B150D przyczynia się do niższych kosztów chłodzenia i poprawy PUE.
• Niezawodność działania:Aktywne monitorowanie z obsługą DDM zmniejsza MTTR nawet o 60% w przypadku usterek warstwy optycznej w obu typach sieci.
• Optymalizacja kosztów:TheCena MMAIB00-B150Djest konkurencyjny w stosunku do innych kwalifikowanych modułów 25G SR, a jego możliwość obsługi dwóch protokołów i szeroka kompatybilność eliminują dodatkowe koszty kwalifikacji i zmniejszają koszty szkoleń.

Dla architektów sieci i liderów inżynierii MMAIB00-B150D oferuje interfejs optyczny, który można zamontować i zapomnieć, który utrzymuje stałą wydajność niezależnie od wahań temperatury, naprężeń mechanicznych i środowisk protokołów. Rozwiązanie jest szczególnie zalecane dla centrów danych AI typu greenfield planujących standaryzowane sieci dostępowe 25G z mieszanymi strukturami Ethernet i InfiniBand, a także dla środowisk typu brownfield modernizujących się z 10G do 25G przy ponownym wykorzystaniu istniejącej infrastruktury światłowodowej wielomodowej. Ponieważ sieci 25G Ethernet i 25G InfiniBand w dalszym ciągu stanowią podstawę warstwy dostępu dla środowisk sztucznej inteligencji, HPC i korporacyjnych środowisk pamięci masowej, architektura optyczna oparta na MMAIB00-B150D zapewnia solidną, skalowalną podstawę, która spełnia zarówno bieżące ograniczenia operacyjne, jak i długoterminowe plany dotyczące wydajności.

Szczegółowe wytyczne dotyczące integracji, dane symulacji termicznej i pakiety certyfikatów zgodności można znaleźć w oficjalnej dokumentacji produktu.