Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC Active Optical Cable w praktyce Krótki dystans Duża prędkość

W miarę jak centra danych o dużej skali i klastry obliczeniowe o wysokiej wydajności nadal się rozwijają, gęstość połączeń między szafami i złożoność zarządzania kablami stały się krytycznymi ograniczeniami dla efektywności rozbudowy. Tradycyjne pasywne kable miedziane napotykają problemy z tłumieniem sygnału, nadmierną średnicą kabla i utrudnionym przepływem powietrza w scenariuszach połączeń na krótkie odległości, podczas gdy dyskretne rozwiązania z aktywnymi optycznymi nadajnikami-odbiornikami wprowadzają dodatkowe koszty i potencjalne punkty awarii. W niedawnym projekcie rozbudowy dużego klastra obliczeniowego AI, wprowadzenie Aktywnego kabla optycznego (AOC) Mellanox (NVIDIA Mellanox) MFS1S00-H005V z powodzeniem zapewniło szybkie połączenie między szafami o przepustowości 200 Gb/s, jednocześnie znacznie upraszczając architekturę okablowania, oferując powtarzalny model referencyjny dla podobnych centrów danych podejmujących modernizację połączeń na krótkie odległości.

Rozpatrywany klaster obliczeniowy został zbudowany wokół przełączników NVIDIA Mellanox Quantum HDR, przyjmując architekturę sieci Fat-Tree. W ramach pojedynczego Podu dziesiątki przełączników były połączone z setkami węzłów obliczeniowych, z odległościami między szafami od 5 do 30 metrów. W początkowej fazie zespół operacyjny próbował użyć pasywnych kabli miedzianych (DAC) do połączeń między szafami. Jednakże, gdy prędkości portów wzrosły do 200 Gb/s, błędy sygnału stały się powszechne na łączach miedzianych przekraczających 15 metrów, prowadząc do degradacji połączenia lub sporadycznych problemów z niestabilnością. Co ważniejsze, kable miedziane o dużej gęstości - charakteryzujące się grubością i ograniczonym promieniem gięcia - powodowały poważne zatory w górnych korytach kablowych, bezpośrednio wpływając na izolację gorących/zimnych korytarzy po stronie przełącznika i zwiększając koszty chłodzenia.

Pojawiło się kolejne wyzwanie związane z modułowym podejściem do nadajników-odbiorników. Chociaż moduły optyczne w połączeniu z kablami światłowodowymi teoretycznie oferowały lepszy zasięg i elastyczność, ich wdrożenie na setkach połączeń między szafami wprowadziłoby tysiące rozłącznych interfejsów optycznych. Każdy interfejs stanowił potencjalny punkt zanieczyszczenia lub awarii, a łączny koszt nadajników-odbiorników plus okablowanie znacznie przekroczył ograniczenia budżetowe. Zespół potrzebował rozwiązania, które łączyłoby prostotę "plug-and-play" miedzi z integralnością sygnału i zasięgiem technologii optycznej, przy jednoczesnym zachowaniu ścisłych budżetów mocy i wymagań dotyczących gęstości fizycznej.

Po ocenie wielu alternatyw, zespół architektoniczny wybrał kabel AOC MFS1S00-H005V 200G QSFP56 jako standardowe połączenie dla wszystkich połączeń między szafami. Ten aktywny kabel optyczny integruje nadajniki-odbiorniki optyczne bezpośrednio w obudowie złącza, tworząc pojedynczą, uszczelnioną jednostkę, która eliminuje rozłączne interfejsy optyczne. Wdrożenie przebiegało według prostego schematu:

• Standaryzowane długości połączeń: Użyto trzech standardowych długości (15m, 20m i 30m), aby pokryć wszystkie odległości między szafami, zmniejszając złożoność zapasów.
• Bezpośrednie połączenia przełącznik-przełącznik: Aktywny kabel optyczny MFS1S00-H005V InfiniBand HDR 200 Gb/s łączył przełączniki spine z przełącznikami leaf w sąsiednich szafach, bez potrzeby stosowania pośrednich paneli krosowych.
• Uproszczone prowadzenie kabli: Cieńsza, bardziej elastyczna konstrukcja AOC w porównaniu do miedzianych DAC pozwoliła na bardziej uporządkowane wiązanie w korytach kablowych, przywracając prawidłowy przepływ powietrza do obudów przełączników.

Kluczowym czynnikiem w podjęciu decyzji była kompleksowa gwarancja kompatybilności. Zespół zweryfikował status MFS1S00-H005V kompatybilny ze wszystkimi przełącznikami NVIDIA Mellanox Quantum HDR i adapterami ConnectX-6, zapewniając, że każde połączenie zostanie poprawnie nawiązane przy prędkości 200 Gb/s bez dostosowań na poziomie oprogramowania układowego. Traktując AOC jako pojedynczą jednostkę SKU dla każdej długości, zespół operacyjny zmniejszył liczbę odrębnych komponentów wymagających kwalifikacji z dwóch (nadajnik-odbiornik + kabel) do jednego, upraszczając zarówno procedury zakupu, jak i wymiany w terenie.

Metryki po wdrożeniu wykazały znaczące usprawnienia w wielu wymiarach. Po pierwsze, niezawodność połączeń znacznie wzrosła: wskaźnik błędów bitowych (BER) na wszystkich połączeniach między szafami pozostał w granicach specyfikacji InfiniBand HDR, z zerowymi problemami z niestabilnością połączeń przypisanymi okablowaniu w okresie 90 dni obserwacji. Po drugie, gęstość koryt kablowych poprawiła się o około 40%, ponieważ mniejsza średnica i ciaśniejszy promień gięcia AOC pozwoliły na bardziej zorganizowane wiązanie bez blokowania obszarów wlotu powietrza wentylatorów obudowy.

Z perspektywy operacyjnej, uproszczony zapas przyniósł jasne korzyści. Z jednym typem komponentu na długość połączenia, zespół zmniejszył liczbę zapasowych jednostek SKU z ponad tuzina do zaledwie trzech. Kiedy inżynierowie potrzebowali odwołać się do szczegółów technicznych podczas rozwiązywania problemów lub planowania pojemności, mogli szybko skonsultować kartę katalogową MFS1S00-H005V i specyfikacjami MFS1S00-H005V w celu weryfikacji zużycia energii, budżetu optycznego i limitów mechanicznych, bez konieczności porównywania wielu dokumentów dotyczących komponentów. Całkowity koszt posiadania również przyniósł korzyści: chociaż początkowa cena MFS1S00-H005V za połączenie była nieco wyższa niż miedzianego DAC o porównywalnej długości, eliminacja aktywnych modułów optycznych i redukcja nakładu pracy związanej z rozwiązywaniem problemów spowodowały o 25% niższy TCO w przewidywanym trzyletnim cyklu życia, co sprawia, że MFS1S00-H005V na sprzedaż jest coraz bardziej korzystny w ocenie w miarę skalowania ilości.

Wdrożenie potwierdziło, że NVIDIA Mellanox MFS1S00-H005V stanowi więcej niż tylko prostą wymianę kabla - jest to kompletne rozwiązanie kablowe AOC MFS1S00-H005V 200G QSFP56 dla środowisk, w których szybkie połączenia na krótkie odległości muszą równoważyć wydajność, gęstość i prostotę operacyjną. Dla architektów projektujących nowe klastry AI lub modernizujących istniejące sieci InfiniBand, MFS1S00-H005V zapewnia przewidywalną ścieżkę do skalowania bez złożoności okablowania, która historycznie towarzyszyła rozbudowie sieci o wysokiej przepustowości.

Patrząc w przyszłość, w miarę ewolucji topologii centrów danych w kierunku jeszcze większej liczby portów i zwiększonego zapotrzebowania na komunikację GPU-GPU, zasady zademonstrowane tutaj - standaryzowane długości, uszczelnione zespoły optyczne i zweryfikowana kompatybilność - staną się coraz ważniejsze. Inżynierowie sieciowi i menedżerowie IT poszukujący powtórzenia tych wyników są zachęcani do zapoznania się ze specyfikacjami MFS1S00-H005V w odniesieniu do własnych układów szaf i wymagań dotyczących odległości. Dzięki udowodnionej wydajności w środowiskach produkcyjnych i szerokiej kompatybilności z infrastrukturą NVIDIA Mellanox HDR, to rozwiązanie aktywnego kabla optycznego jest dobrze przygotowane do pełnienia roli kręgosłupa wydajnych, skalowalnych połączeń między szafami dla następnej generacji obliczeń o wysokiej wydajności i obciążeń AI.