Rozwiązanie techniczne dotyczące transceivera optycznego dla centrum danych NVIDIA Mellanox MMA4Z00-NS

Rozwiązanie techniczne dotyczące transceivera optycznego NVIDIA Mellanox MMA4Z00-NS dla centrum danych | Równoważenie przepustowości i odległości w połączeniach typu rack-rack i między obiektami

1. Analiza tła projektu i wymagań

W miarę ciągłego skalowania obciążeń związanych ze sztuczną inteligencją (AI) i obliczeniami o wysokiej wydajności (HPC), podstawowa infrastruktura sieciowa musi ewoluować, aby obsługiwać prędkości dostępu Ethernet 800G i InfiniBand 400G. Architekci centrów danych stoją obecnie przed krytycznym wyzwaniem związanym z projektowaniem warstwy fizycznej: jak zapewnić przepustowość 800G na różnych odległościach — od połączeń wewnątrz szaf (2–5 metrów) po łącza między korytarzami (30–60 metrów), a nawet połączenia między rzędami lub między budynkami (do 100 metrów) — bez mnożenia typów transceiverów, zwiększania kosztów zapasów lub pogarszania integralności sygnału. Tradycyjne podejście polegające na wyborze odrębnych modułów optycznych dla każdego poziomu odległości (np. SR8 dla krótkiego zasięgu, DR8/FR8 dla większego zasięgu) wprowadza złożoność operacyjną i zwiększa ryzyko nieprawidłowego zaopatrzenia, gdy moduł krótkiego zasięgu jest przypadkowo wdrażany na dłuższym łączu, powodując nieprzewidywalne współczynniki błędów bitowych (BER).

Wyzwanie to potęgują trzy równoległe trendy branżowe. Po pierwsze, powszechne przyjęcie formatu OSFP (Octal Small Form Factor Pluggable) w przełącznikach Ethernet i InfiniBand stworzyło wspólny interfejs, ale nie wszystkie transceivery OSFP zapewniają stałą wydajność w przypadku światłowodu wielomodowego przy prędkościach 800G PAM4. Po drugie, wymogi zrównoważonego rozwoju powodują zmniejszenie zużycia energii na port, ponieważ przełączniki o dużej gęstości z 32 lub 64 portami OSFP mogą zużywać znaczną energię, jeśli transceivery nie są zoptymalizowane. Po trzecie, zespoły operacyjne wymagają jednolitych możliwości diagnostycznych we wszystkich łączach optycznych, aby uprościć monitorowanie i skrócić średni czas naprawy (MTTR). Wymagane jest ustrukturyzowane rozwiązanie techniczne — takie, które standaryzuje pojedynczy, dobrze scharakteryzowany transceiver 800G SR8, zapewniając jednocześnie jasne wytyczne dotyczące planowania odległości, sprawdzania budżetu łącza i proaktywnego zarządzania stanem zarówno w sieciach Ethernet, jak i InfiniBand.

2. Ogólny projekt architektury sieci/systemu

Proponowana architektura przyjmuje dwuwarstwową topologię typu „spine-leaf” z portami 800G OSFP służącymi jako główny interfejs dostępowy dla węzłów obliczeniowych GPU i systemów pamięci masowej. Każdy przełącznik liściowy, zwykle wyposażony w 32 lub 64 porty OSFP, łączy się z przełącznikami typu „spine” w górę za pośrednictwem łączy w górę 800 G lub 1,6 T, podczas gdy porty w dół są przydzielane do węzłów obliczeniowych i kontrolerów pamięci masowej rozmieszczonych w wielu szafach i przejściach. Aby zmaksymalizować wykorzystanie portu i zmniejszyć powierzchnię przełącznika, architektura wykorzystuje konfiguracje rozłączeń 2×400G: pojedynczy port 800G OSFP jest podzielony na dwa niezależne połączenia 400G, każde zakończone na oddzielnym serwerze GPU lub punkcie końcowym pamięci masowej. Taka konstrukcja skutecznie podwaja efektywną gęstość portów w warstwie liścia, co jest szczególnie cenne w środowiskach bogatych w procesory graficzne, gdzie miejsce w szafie jest na wagę złota.

Fizyczne okablowanie pomiędzy przełącznikami i punktami końcowymi jest realizowane przy użyciuNVIDIA Mellanox MMA4Z00-NSjako znormalizowany transceiver optyczny 800G dla wszystkich łączy światłowodowych wielomodowych o długości do 65 metrów. TenTransceiver MMA4Z00-NS 800G OSFP SR8działa poprzez światłowód wielomodowy OM4 (50 metrów) i OM5 (70 metrów) przy użyciu 8 równoległych linii przy 100G PAM4 na linię, zgodnie ze specyfikacjami Ethernet 800GBASE-SR8 i 400G-SR4, a także szybkościami transmisji danych InfiniBand HDR i NDR. Możliwość obsługi dwóch protokołów modułu — obsługa zarówno sieci Ethernet, jak i InfiniBand bez konieczności rekonfiguracji oprogramowania sprzętowego — umożliwia ujednoliconą strategię optyczną w heterogenicznych strukturach, zmniejszając liczbę jednostek SKU transceiverów wymaganych w środowiskach o mieszanych protokołach.

Architektura obejmuje również ustandaryzowany projekt instalacji światłowodowej wykorzystującej złącza MPO-12 i szerokopasmowy światłowód wielomodowy OM5 we wszystkich nowych instalacjach, z możliwością ponownego wykorzystania istniejącej infrastruktury OM4 w przypadku krótszych łączy, jeśli pozwala na to margines łącza. Taka konstrukcja gwarantuje, że dowolny port OSFP można połączyć krzyżowo z dowolnym punktem końcowym w promieniu 65 metrów, zapewniając maksymalną elastyczność w zakresie równoważenia pojemności i cykli odświeżania sprzętu. Przewodnik projektowania odwołuje się doSpecyfikacje MMA4Z00-NSdla promienia zgięcia (minimum 30 mm dynamiki), czystości złączy (zgodnie z IEC 61300-3-35) i budżetów strat wtrąceniowych (łącznie maksymalnie 3,0 dB dla całego łącza, łącznie ze złączami i spawami).

3. Rola i kluczowe cechy NVIDIA Mellanox MMA4Z00-NS w rozwiązaniu

W ramach tej architektury,Transceiver MMA4Z00-NS 800G OSFP SR8działa jako znormalizowany interfejs optyczny, który łączy domenę elektryczną przełącznika/adaptera z infrastrukturą światłowodową. Jego kluczowe cechy techniczne mają kluczowe znaczenie dla powodzenia strategii pojedynczego SKU:

• Działanie dwuprotokołowe:Obsługuje zarówno 800G Ethernet (800GBASE-SR8), jak i 400G InfiniBand (NDR) z funkcją automatycznego wykrywania, umożliwiając ujednoliconą inwentaryzację transceiverów w heterogenicznych strukturach.
• Natywna możliwość przerwania 2×400G:TheMMA4Z00-NS 2x400G InfiniBand/EthernetTryb umożliwia pojedynczemu portowi OSFP zasilanie dwóch niezależnych punktów końcowych 400G przy użyciu zestawu kabli MPO-12 do 2×MPO-8, eliminując potrzebę stosowania zewnętrznych modułów wentylatora.
• Macierz VCSEL 850 nm z 8 liniami:Zapewnia niezawodną optyczną moc wyjściową (typowo od -2,0 do +4,0 dBm na linię) przy szumie o niskim względnym natężeniu (RIN), obsługując diagramy czystego oka na światłowodzie wielomodowym przy 100G PAM4.
• Zestaw odbiorników PIN o wysokiej czułości:Typowa czułość -5,5 dBm na linię, zapewniająca margines łącza co najmniej 3,0 dB na OM5 w odległości 70 metrów, co uwzględnia straty i starzenie się złączy.
• Wydajność energetyczna:Typowe zużycie poniżej 10,5 W w trybie 800G i około 8,2 W w trybie breakout 2×400 G, co umożliwia gęste konfiguracje portów bez przekraczania budżetów termicznych.
• Zintegrowany cyfrowy monitoring diagnostyczny (DDM):Raportowanie w czasie rzeczywistym mocy Tx, mocy Rx, temperatury, napięcia i prądu polaryzacji dla każdej linii za pośrednictwem standardowego interfejsu zarządzania I²C, umożliwiając proaktywne wykrywanie usterek i rozwiązywanie problemów na poziomie linii.
• Szeroki zakres temperatur pracy:Temperatura obudowy od 0°C do 70°C, zapewniająca niezawodną pracę w środowiskach szafowych o dużej gęstości i podwyższonej temperaturze otoczenia.

Funkcje te są szczegółowo udokumentowane w dokumencieKarta katalogowa MMA4Z00-NS, który obejmuje maski diagramów oka, krzywe tolerancji drgań i rysunki mechaniczne umożliwiające integrację z narzędziami do projektowania szafy. Arkusz danych zawiera również szczegółowe tabele budżetu łącza, do których odwołuje się się na etapie planowania architektury w celu sprawdzenia, czy całkowite tłumienie wtrąceniowe każdego łącza mieści się w budżecie optycznym modułu.

4. Zalecenia dotyczące wdrożenia i skalowania (wraz z opisem typowej topologii)

W przypadku początkowego wdrożenia zalecamy podejście do podziału na strefy strukturalne, które odwzorowuje poziomy odległości na standardowe typy okablowania i zapewnia spójny margines łącza dla wszystkich połączeń. Następująca typowa topologia jest stosowana w przypadku 32-portowego przełącznika listkowego obsługującego 64 węzły procesora graficznego w ośmiu szafach (8 węzłów na szafę), przy odległościach między szafami w zakresie od 5 do 50 metrów:

• Strefa A (wewnątrz regałów, 2–5 metrów):Bezpośrednie kable krosowe MPO-12 z przełącznika liściowego (w tej samej szafce) do węzłów GPU. Margines łącza przekracza 6 dB, zapewniając niezawodną pracę nawet przy umiarkowanej degradacji złącza.
• Strefa B (Szafy sąsiadujące, 8–20 metrów):Okablowanie strukturalne OM5 poprzez napowietrzne korytka światłowodowe z pośrednimi panelami krosowymi. Całkowita liczba złączy: 2 sparowane pary na łącze. Margines łącza: 4,0–4,5 dB, mieszczący się w granicach minimum 3,0 dB modułu.
• Strefa C (przejście poprzeczne / międzyrzędziowe, 25–50 metrów):Wstępnie zakończone magistrale OM5 z fabrycznie wypolerowanymi złączami, poprowadzone pod podniesionymi podłogami. Margines łącza: 3,0–3,5 dB, nadal komfortowy nawet przy uwzględnieniu do 0,5 dB starzenia w ciągu 5 lat.
• Strefa D (kampus międzybudynkowy, 50–65 metrów):Używany tylko w przypadku połączeń na krótkich kampusach, gdzie istnieje infrastruktura OM5. Margines łącza na 65 metrach wynosi około 3,0 dB, co wymaga dokładnego czyszczenia złącza, zgodności z promieniem zgięcia i weryfikacji marginesu mocy podczas uruchamiania.

Skalowanie poza pojedynczy moduł odbywa się według tych samych zasad podziału na strefy, z dodatkiem pośrednich przełączników agregujących, które kończą łącza dostępowe 800G z wielu modułów. PonieważRozwiązanie nadawczo-odbiorcze MMA4Z00-NS 800G OSFP SR8wykorzystuje pojedynczą jednostkę SKU z możliwością obsługi dwóch protokołów, rozbudowa nie wymaga prognozowania typów transiwerów na protokół lub odległość — wszystkie łącza są obsługiwane identycznie. Upraszcza to logistykę i pozwala zespołowi operacyjnemu utrzymywać niewielki zapas zapasowych nadajników-odbiorników (zwykle 5% rozmieszczonych jednostek) w celu szybkiej wymiany podczas konserwacji.

W przypadku planowania odległości poniższa tabela zawiera wytyczne dotyczące maksymalnego zasięgu w zależności od rodzaju światłowodu i budżetu łącza:

W przypadku wdrażania na odległości bliskie maksymalnemu zasięgowi zalecamy wykonanie pomiaru mocy optycznej podczas uruchomienia przy użyciu źródła światła i miernika mocy, porównując zmierzoną stratę z budżetem obliczonym na podstawieKarta katalogowa MMA4Z00-NS. Ten etap weryfikacji zapewnia wykrycie wszelkich defektów lub zanieczyszczeń okablowania przed wprowadzeniem łącza do produkcji.

5. Eksploatacja i konserwacja: monitorowanie, rozwiązywanie problemów i optymalizacja

Cykl życia operacyjnego infrastruktury optycznej opartej na MMA4Z00-NS wymaga systematycznego podejścia do monitorowania i zarządzania awariami, wykorzystując możliwości modułu DDM na poziomie linii. Zalecamy integrację interfejsu zarządzania I²C z centralnym systemem zarządzania siecią (NMS) przy użyciu standardowej specyfikacji CMIS (Common Management InterfaceSpecification) dla modułów OSFP. Kluczowe progi, które należy skonfigurować dla alertów proaktywnych, obejmują:

• Spadek mocy Tx:Alarmuj, jeśli moc wyjściowa na którymkolwiek pasie spadnie o więcej niż 2,0 dB w stosunku do nominalnego, co wskazuje na potencjalne starzenie się VCSEL lub zanieczyszczenie złącza po stronie nadawczej.
• Margines mocy Rx:Ostrzeżenie, jeśli odbierana moc na którymkolwiek pasie zbliża się do -5,0 dBm (przy czułości -5,5 dBm), co wskazuje na nadmierną utratę łącza, uszkodzenie kabla lub nieprawidłowe ustawienie złącza MPO.
• Skoki temperaturowe:Ostrzegaj, jeśli temperatura obudowy przekroczy 65°C, co sugeruje zablokowanie przepływu powietrza, awarię wentylatora lub wzrost temperatury otoczenia.
• Dryft prądu polaryzacji:Monitoruj zmiany prądu polaryzacji lasera w czasie; utrzymujący się wzrost powyżej 30% wartości nominalnej na dowolnym pasie może wskazywać na degradację VCSEL.

W przypadku degradacji lub awarii łącza należy postępować według zorganizowanego protokołu rozwiązywania problemów:

1. Sprawdź odczyty DDM na poziomie linii, aby określić, która z 8 linii ulega degradacji; porównać wartości Tx i Rx z oczekiwanymi zakresami zSpecyfikacje MMA4Z00-NS.
2. Sprawdź złącza MPO na obu końcach za pomocą mikroskopu czołowego; oczyścić w przypadku wykrycia zanieczyszczenia zgodnie z normami IEC 61300-3-35, zwracając szczególną uwagę na każdy pojedynczy dotknięty pas.
3. Przetestuj łącze za pomocą sprawnego transceivera MMA4Z00-NS, aby potwierdzić, czy usterka leży w module czy w instalacji światłowodowej.
4. Jeśli problem nadal występuje na określonym torze, wykonaj test OTDR lub użyj diagnostyki pętli zwrotnej, aby wyizolować usterkę albo w ścieżce światłowodowej, albo w wewnętrznej ścieżce optycznej transceivera.

Możliwości optymalizacji obejmują okresowe audyty zarządzania kablami, aby zapewnić zgodność z minimalnym promieniem zgięcia i sprawdzić, czy odciążenie złącza MPO nie jest zagrożone. Dodatkowo, ponieważCena MMA4Z00-NSjest konkurencyjny w stosunku do innych kwalifikowanych modułów 800G SR8, zalecamy utrzymywanie niewielkiego zapasu zapasowych modułów nadawczo-odbiorczych (około 5% wszystkich wdrożonych jednostek), aby umożliwić szybką wymianę i zminimalizować MTTR. W przypadku wdrożeń na dużą skalę rozważ wdrożenie zautomatyzowanych pulpitów nawigacyjnych dotyczących stanu optycznego, które agregują dane DDM na poziomie linii dla wszystkich łączy, umożliwiając konserwację predykcyjną i planowanie wydajności.

6. Podsumowanie i ocena wartości

TheNVIDIA Mellanox MMA4Z00-NSoparte na nim rozwiązanie techniczne zapewnia pragmatyczną, sprawdzoną w praktyce metodologię równoważenia przepustowości i odległości w sieciach dostępowych do centrów danych 800G. Standaryzacja w oparciu o pojedynczy transceiver OSFP SR8 zgodny z IEEE —Transceiver MMA4Z00-NS 800G OSFP SR8— architektura eliminuje złożoność zarządzania wieloma jednostkami SKU dla różnych poziomów odległości i protokołów, zmniejsza zapasy części zamiennych i upraszcza planowanie wdrożenia. Zastosowana w module technologia VCSEL 850 nm w połączeniu z układem odbiorników PIN o wysokiej czułości zapewnia niezawodną wydajność w przypadku światłowodów wielomodowych OM4 i OM5 na dystansie do 70 metrów, pokrywając zdecydowaną większość łączy wewnątrz centrów danych, jednocześnie obsługując sieci Ethernet i InfiniBand.

Kluczowe wskaźniki wartości z porównywalnych wdrożeń obejmują:

• Redukcja zapasów:Pojedynczy moduł nadawczo-odbiorczy zastępuje cztery numery części specyficzne dla odległości/protokołu (np. SR8, SR4, DR8, FR8), redukując koszty logistyczne o 60–70%.
• Efektywność energetyczna:Przy mocy < 10,5 W w trybie 800G i < 8,2 W w trybie breakout 2×400G, MMA4Z00-NS przyczynia się do obniżenia kosztów chłodzenia i poprawy PUE.
• Niezawodność działania:Aktywne monitorowanie na poziomie linii z obsługą DDM zmniejsza MTTR nawet o 60% w przypadku usterek warstwy optycznej.
• Optymalizacja kosztów:TheCena MMA4Z00-NSjest konkurencyjny w stosunku do innych kwalifikowanych modułów 800G SR8, a jego możliwość obsługi dwóch protokołów i natywna obsługa breakoutów eliminują dodatkowe koszty kwalifikacji i sprzętu zewnętrznego.

Dla architektów sieci i liderów inżynierii MMA4Z00-NS oferuje interfejs optyczny, który można ustawić i zapomnieć, który utrzymuje stałą wydajność niezależnie od wahań temperatury i naprężeń mechanicznych. Rozwiązanie jest szczególnie zalecane dla centrów danych AI typu greenfield planujących ustandaryzowane sieci dostępowe 800G, a także środowisk typu brownfield modernizujących się z 400G do 800G przy ponownym wykorzystaniu istniejącej infrastruktury światłowodowej wielomodowej. Ponieważ sieci 800G Ethernet i 400G InfiniBand stale zyskują na popularności w środowiskach sztucznej inteligencji, HPC i korporacyjnych pamięci masowych, architektura optyczna oparta na MMA4Z00-NS zapewnia solidną, skalowalną podstawę, która jest zgodna zarówno z bieżącymi ograniczeniami operacyjnymi, jak i długoterminowymi planami rozwoju wydajności.

Szczegółowe wytyczne dotyczące integracji, dane symulacji termicznej i pakiety certyfikatów zgodności można znaleźć w oficjalnej dokumentacji produktu.