Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC Praktyka stosowania aktywnych kabli optycznych

Mellanox (NVIDIA Mellanox) MFS1S00-H005V AOC Aktywny Kabel Optyczny Praktyka Zastosowania | Krótkodystansowe Szybkie Połączenie Między Szafami i Uproszczenie Okablowania

Tło i Wyzwania: Wąskie Gardło Okablowania w Połączeniach Między Szafami

Krajowe centrum superkomputerowe napotkało nieoczekiwane wąskie gardło po modernizacji swojej sieci InfiniBand HDR 200G — fizyczne połączenia między szafami. Obiekt mieści 48 szaf obliczeniowych, z których każda zawiera 16 serwerów GPU, a każdy serwer wymaga dwóch połączeń uplink 200G do przełącznika Top-of-Rack (ToR) Leaf. W tradycyjnym podejściu połączenia między szafami opierały się na światłowodowych kablach krosowych oraz dyskretnych modułach optycznych: nadajniki-odbiorniki QSFP56 SR4 były rozmieszczone na górze każdej szafy, połączone za pomocą światłowodowych zworków MPO ze przełącznikami Leaf w sąsiednich szafach. To rozwiązanie ujawniło wiele problemów podczas początkowego wdrożenia. Po pierwsze, proliferacja kabli była poważna — między 48 szafami wymagano ponad 300 połączeń światłowodowych, a tace kablowe osiągnęły pełną pojemność w ciągu dwóch tygodni, co sprawiło, że każde nowe dodanie było zależne od usunięcia istniejących kabli. Po drugie, wskaźnik awaryjności modułów optycznych był zauważalnie wysoki, a zespół operacyjny odnotował średnio od 3 do 4 wymian modułów tygodniowo w ciągu pierwszych trzech miesięcy po wdrożeniu, często wymagając ponownej kwalifikacji połączenia i powodując kaskadowe opóźnienia w harmonogramowaniu zadań. Po trzecie, każda zworka MPO wymagała skrupularnego zarządzania polaryzacją i czyszczenia, co dodawało 15 do 20 minut na połączenie podczas początkowego uruchamiania. Kierownik operacyjny podsumował wyzwanie: „Potrzebowaliśmy rozwiązania, które mogłoby zapewnić tę samą wydajność 200G, ale z mniejszą liczbą komponentów, prostszą obsługą i drastycznie zmniejszonymi wskaźnikami awarii w terenie”.

Rozwiązanie i Wdrożenie: Wprowadzenie Aktywnego Kabla Optycznego MFS1S00-H005V

Aby rozwiązać te problemy, centrum oceniło kilka alternatyw i ostatecznie wybrałoMFS1S00-H005V od Mellanox (NVIDIA Mellanox) —kabel AOC MFS1S00-H005V 200G QSFP56 który integruje nadajniki-odbiorniki optyczne i światłowód w jedną, wstępnie zakończoną zmontowaną całość. Jakoaktywny kabel optyczny MFS1S00-H005V InfiniBand HDR 200 Gb/s, eliminuje potrzebę stosowania oddzielnych modułów i zworków, oferując połączenie typu plug-and-play, które obejmuje do 50 metrów — idealne dla odległości od 5 do 15 metrów typowych między szafami w tym obiekcie.

Strategia wdrożenia była realizowana etapami przez trzy weekendy. W Fazie 1 zespół zastąpił wszystkie połączenia Leaf-to-Leaf w rdzeniu warstwy spine za pomocąNVIDIA Mellanox MFS1S00-H005V, potwierdzając, że listakompatybilnych MFS1S00-H005V obejmowała ich istniejące przełączniki Quantum. Faza 2 rozszerzyła wdrożenie AOC na połączenia uplink na górze szafy, łącząc każdy węzeł obliczeniowy z przełącznikami Leaf. Faza 3 skupiła się na sieci GPU-to-storage, gdzierozwiązanie kablowe MFS1S00-H005V 200G QSFP56 AOC zapewniło deterministyczną latencję dla ruchu równoległego systemu plików. Zespół polegał nakarta katalogowa MFS1S00-H005V w celu weryfikacji budżetów połączeń i zapewnienia, że zasięg 50 metrów był wystarczający dla ich najdłuższego połączenia (mierzonego na 37 metrów, w tym pętle serwisowe).

Kluczową zaletą podejścia AOC była eliminacja oddzielnego kroku czyszczenia nadajnika-odbiornika — każdyMFS1S00-H005V dotarł przetestowany fabrycznie i zapieczętowany, wymagając jedynie wizualnej inspekcji czoła złącza przed instalacją. Zespół użył kolorowych osłon kabli do rozróżnienia połączeń leaf-to-spine od leaf-to-compute, co dodatkowo uprościło dokumentację.

Wyniki i Korzyści: Namacalne Ulepszenia w Niezawodności i Efektywności Operacyjnej

Metryki po wdrożeniu wykazały znaczące zyski w wielu wymiarach. Specyfikacje MFS1S00-H005V — w tym typowe zużycie energii poniżej 1,5 W na koniec i BER poniżej 1e-15 — zostały w pełni zrealizowane w środowisku produkcyjnym, a centrum zgłosiło zero awarii zadań związanych z połączeniami w ciągu dwóch miesięcy po przełączeniu. Poniższa tabela podsumowuje kluczowe ulepszenia:

Zespół operacyjny zauważył również, że elastyczna osłona kablaMFS1S00-H005V i minimalny promień gięcia 30 mm pozwoliły na znacznie schludniejsze prowadzenie kabli w tacach kablowych, zmniejszając potrzebę stosowania opasek kablowych i poprawiając przepływ powietrza. Oceniając całkowity koszt, centrum stwierdziło, że chociażcena MFS1S00-H005V za jednostkę była nieco wyższa niż kombinacja oddzielnego modułu i zworki na połączenie, eliminacja zapasów części zamiennych, zmniejszona praca związana z rozwiązywaniem problemów i prawie zerowy wskaźnik awaryjności sprawiły, że całkowity koszt posiadania (TCO) był bardziej korzystny. MFS1S00-H005V na sprzedaż za pośrednictwem kanałów NVIDIA zapewnił również szybką wymianę wszelkich wadliwych jednostek (chociaż żadne nie wystąpiły w ciągu pierwszych trzech miesięcy).

Podsumowanie i Perspektywy: Schemat dla Uproszczonych Sieci HDR

Pomyślne wdrożenie przez centrum superkomputeroweMFS1S00-H005V pokazuje, jak aktywne kable optyczne mogą drastycznie uprościć połączenia między szafami w środowiskach HDR 200G. Konsolidując nadajniki-odbiorniki i światłowód w jedną, wstępnie kwalifikowaną zmontowaną całość, podejście AOC zmniejsza liczbę komponentów, eliminuje awarie w terenie związane z modułami i skraca czas wdrożenia o ponad 80%. Dla architektów sieci i menedżerów IT borykających się z podobnymi wyzwaniami gęstości okablowania,NVIDIA Mellanox MFS1S00-H005V oferuje sprawdzoną ścieżkę do wyższej niezawodności i niższego obciążenia operacyjnego. Pełne szczegóły techniczne, w tymkarta katalogowa MFS1S00-H005V i zweryfikowane macierze kompatybilności, są dostępne za pośrednictwem oficjalnych kanałów. Centrum planuje teraz rozszerzyć strategię AOC na swoje nowe skrzydło rozszerzeń GPU, oczekując powtórzenia tych samych korzyści na jeszcze większą skalę.