Mellanox (NVIDIA Mellanox) MFS1S00-H020V AOC Kabel aktywny w praktyce

Mellanox (NVIDIA Mellanox) MFS1S00-H020V AOC Active Optical Cable w praktyce | Krótkodystansowe szybkie połączenia między szafami i uproszczenie okablowania

Tło i wyzwania

W typowym klastrze obliczeniowym o wysokiej wydajności lub szkoleniowym AI, węzły obliczeniowe są gęsto upakowane w szafach, a przełączniki typu leaf znajdują się zaledwie jedną lub dwie szafy od serwerów, które obsługują. Te krótkodystansowe połączenia są liczne, powtarzalne i nie wybaczają błędów: każde połączenie musi utrzymywać prędkość 200 Gb/s przy niskim opóźnieniu, a każdy dodatkowy złącz, moduł i przebieg światłowodu zwiększa koszty, zapasy i powierzchnię do rozwiązywania problemów.

W reprezentatywnym scenariuszu wdrożenia, zespół sieciowy obsługujący sieć InfiniBand HDR napotkał dokładnie ten problem. Odległości między szafami wahały się od 5 do 20 metrów, w zakresie, w którym pasywne kable miedziane miały problemy z integralnością sygnału i objętością kabla, podczas gdy dyskretne moduły optyczne plus oddzielne zespoły światłowodowe podwajały liczbę części do magazynowania i łączenia. Zarządzanie kablami w gęstych szafach stało się trudne, przepływ powietrza został zakłócony, a czas instalacji na połączenie był znacznie dłuższy, niż chciał zespół. Architekci zaczęli szukać alternatywy fabrycznie zakończonej, typu plug-and-play, która mogłaby być wdrożona na dużą skalę bez poświęcania wydajności 200G.

Rozwiązanie i podejście do wdrożenia

Zespół znormalizował użycie Mellanox (NVIDIA Mellanox) MFS1S00-H020V, aktywnego kabla optycznego AOC, który integruje silnik optyczny bezpośrednio w pojedynczy, fabrycznie zakończony zespół. Z konektorem QSFP56 na każdym końcu i zasięgiem 20 metrów, kabel MFS1S00-H020V 200G QSFP56 AOC obejmuje pełny zakres połączeń między szafami w tym środowisku, bez potrzeby stosowania oddzielnej optyki lub paneli krosowych.

Ponieważ zespół jest dostarczany fabrycznie zakończony i przetestowany, wdrożenie przebiegało według prostego schematu: podłącz jeden koniec do karty sieciowej serwera lub portu węzła GPU, podłącz drugi do portu przełącznika leaf i zweryfikuj stan połączenia. Nie było potrzeby wkładania modułów, czyszczenia światłowodów ani parowania konektorów w szafie. W celu walidacji inżynierowie przejrzeli specyfikacje MFS1S00-H020V i kartę katalogową MFS1S00-H020V, aby potwierdzić budżet optyczny i tolerancje środowiskowe, a także sprawdzili typy portów kompatybilnych z MFS1S00-H020V w stosunku do istniejących kart liniowych przełączników NVIDIA Mellanox przed wdrożeniem w partiach.

• Znormalizowana długość 20 metrów, aby objąć wszystkie rozpiętości między szafami w docelowych rzędach
• Konstrukcja z pojedynczym zespołem, aby zmniejszyć liczbę części i zapasy części zamiennych
• Wdrożenie w partiach według rzędów, z weryfikacją połączeń po okablowaniu każdej szafy
• Jako aktywny kabel optyczny MFS1S00-H020V InfiniBand HDR 200 Gb/s, wdrożony na portach InfiniBand HDR, pozostając jednocześnie użytecznym dla połączeń Ethernet 200G tam, gdzie jest to wymagane

Wyniki i korzyści

Najbardziej natychmiastową korzyścią było uproszczenie okablowania. Zastąpienie kombinacji moduł plus światłowód pojedynczym rozwiązaniem kablowym MFS1S00-H020V 200G QSFP56 AOC zmniejszyło liczbę komponentów na połączenie i skróciło czas poświęcony na łączenie i etykietowanie połączeń. Cieńsze, bardziej elastyczne przebiegi kabli poprawiły przepływ powietrza i ułatwiły konserwację na poziomie szafy, ponieważ technicy mogli śledzić i wymieniać połączenie bez demontażu pobliskiego okablowania.

Operacyjnie zespół zgłosił mniej problemów na poziomie połączeń podczas uruchamiania, głównie dlatego, że ścieżka optyczna była zakończona i przetestowana w fabryce, a nie montowana na miejscu. Integralność sygnału na dystansie od 5 do 20 metrów była spójna, a połączenia 200 Gb/s HDR uruchamiały się przewidywalnie w całej sieci. Zarządzanie częściami zamiennymi również się poprawiło: pojedynczy SKU obejmował pełny zakres połączeń między szafami, upraszczając zakupy i zmniejszając ryzyko niedopasowania części podczas napraw.

Do celów planowania zespół zauważył, że cena MFS1S00-H020V i dostępność MFS1S00-H020V do sprzedaży powinny być potwierdzone z autoryzowanymi partnerami handlowymi, a przyszłe rozszerzenia będą podążać za tą samą znormalizowaną długością kabla, aby utrzymać prostotę listy materiałów. Szczegółowe parametry optyczne i mechaniczne pozostają udokumentowane w karcie katalogowej MFS1S00-H020V do przeglądów projektowych.

Podsumowanie i perspektywy

Wdrożenie ilustruje, gdzie najlepiej sprawdza się Mellanox (NVIDIA Mellanox) MFS1S00-H020V: gęste połączenia między szafami na dystansie od 5 do 20 metrów, gdzie przepustowość 200 Gb/s, przewidywalna integralność sygnału i zmniejszona złożoność okablowania mają znaczenie jednocześnie. Konsolidując optykę i kabel w jednym zespole, zamienia powtarzalne, podatne na błędy zadanie okablowania w powtarzalny, znormalizowany krok. W miarę skalowania sieci InfiniBand HDR i Ethernet 200G, tego typu aktywne połączenie optyczne typu plug-and-play prawdopodobnie pozostanie praktycznym domyślnym rozwiązaniem dla połączeń krótkodystansowych.