Projekt sieci klastrów AI: kręgosłup-Leaf, RoCE i karty sieciowe

Projektowanie sieci klastrów AI to proces dobierania rozmiaru kart sieciowych serwera GPU, przepustowości liścia-, współczynnika nadsubskrypcji, ustawień RoCE, optyki i okablowania, tak aby rozproszony ruch szkoleniowy pozostał przewidywalny w miarę skalowania klastra. Jeśli popełnisz błąd, to sieć -, a nie procesor graficzny - stanie się wąskim gardłem.

Dlaczego sieci klastrów AI są inne

W tradycyjnym korporacyjnym centrum danych sieć obsługuje ruch użytkowników z północy-południa, dostęp do pamięci masowej, wirtualizację i zarządzanie. Istnieje ruch wschodni-zachodni, ale rzadko stanowi on dominujący ładunek. W klastrze AI sytuacja się odwraca. Serwery GPU obsługujące rozproszone szkolenia wymieniają gradienty i synchronizują parametry na każdym etapie zadania. Ta komunikacja jest częścią obliczeń, a nie ich efektem ubocznym.

Jeśli procesor graficzny o wartości 30 000 USD spędza 30% czasu na czekaniu w sieci podczas wszystkich-operacji zmniejszania, klaster w rzeczywistości płaci za 30% swojej mocy obliczeniowej, pozostając w stanie bezczynności. To jest ekonomiczny powód, dla którego sieci AI cieszą się tak dużym zainteresowaniem.

Projekt opiera się na trzech cechach obciążenia:

• Duży ruch na wschodzie-zachodzie.Zbiorowe operacje komunikacyjne, takie jak all-redukcja, all-gromadzenie i redukcja-rozpraszania, generują zsynchronizowane impulsy w wielu węzłach jednocześnie.
• Czułość-ogonowa na opóźnienia.Pojedynczy powolny węzeł opóźnia cały etap uczenia. Przewidywalne opóźnienie ma większe znaczenie niż średnie opóźnienie.
• Skaluj-rozwój.Klastry zaczynające się od 32 procesorów graficznych często rozrastają się do 256 lub 1024 w ciągu 18 miesięcy. Tkanina musi być skalowana bez przeprojektowywania.

Dlaczego Spine-Liść pasuje do klastrów AI

Spine-leaf to standardowa struktura dla hiperskalowych centrów danych, ponieważ zapewnia każdemu ścieżce-do-serwerów tę samą liczbę przeskoków i tę samą teoretyczną przepustowość. W przypadku obciążeń AI ta jednolitość bezpośrednio przekłada się na bardziej przewidywalne czasy etapów szkolenia.

W topologii-liścia kręgosłupa serwery GPU łączą się z przełącznikami liści, a każdy liść łączy się z każdym grzbietem. Dowolna komunikacja GPU-do-GPU przebiega dokładnie przez jeden liść, jeden kręgosłup i jeszcze jeden liść. Nie ma warstw agregacji wprowadzających zmienne opóźnienia lub wąskie gardła.

Przewidywalne opóźnienie

Routing wielościeżkowy (ECMP) o równym-koszcie-rozdziela przepływy pomiędzy przełącznikami typu „spine”. Po prawidłowej konfiguracji z routingiem adaptacyjnym lub dynamicznym równoważeniem obciążenia zapobiega to kolizjom skrótów, które powodują, że niektóre przepływy są znacznie wolniejsze od innych. - Jest to znany problem w statycznych strukturach ECMP przenoszących niewiele, ale dużych przepływów, czyli dokładnie to, co generuje szkolenie AI.

Wysoka przepustowość dwusekcyjna

Przepustowość dwusekcyjna to przepustowość dostępna pomiędzy dowolnymi dwiema równymi połówkami klastra. Szkolenie AI przynosi korzyści w przypadku projektów nie-blokujących lub prawie-nieblokujących-, w których przepustowość łącza wychodzącego od liścia-do-kręgosłupa jest równa lub prawie równa przepustowości łącza pobierającego skierowanego do serwerów. IETF definiuje i omawia te pojęcia wRFC 7938, który obejmuje sieci Clos-z routingiem BGP, powszechnie stosowane w-dużych centrach danych.

Łatwiejsze skalowanie-wszerz

Dodaj więcej liści, aby dodać więcej serwerów. Dodaj więcej kolców, aby zwiększyć przepustowość dwusekcyjną. W przypadku klastrów obejmujących więcej niż kilka tysięcy procesorów graficznych topologia super-spine (5-stopni Clos) lub topologia zoptymalizowana pod kątem szyny rozszerza tę samą zasadę o jedną warstwę dalej.

Podstawowe elementy sieci klastrów AI

Serwery GPU i karty sieciowe

Karta sieciowa to miejsce, w którym struktura łączy się z hostem. W klastrach AI wybór karty sieciowej wpływa na wszystko za - szybkością portu przełącznika, wyborem optyki i gęstością okablowania.

Kryteria wyboru obciążeń AI:

• Szybkość portu:200G, 400G lub 800G na port. Dopasuj do generacji procesora graficznego i przepustowości PCIe.
• Generacja PCIe:Karta sieciowa 400G wymaga PCIe Gen5 x16, aby uniknąć ograniczania-po stronie hosta. Dostępne czapki PCIe Gen4 x16 przy ~256 Gb/s.
• Obsługa RDMA i RoCEv2:Wymagane, aby jądro-ominęło biblioteki komunikacyjne GPU, takie jak NCCL.
• GPUDirect RDMA:Umożliwia bezpośrednie połączenie procesora graficznego-z-NIC DMA, usuwając kopie pamięci hosta.
• Możliwość obsługi wielu-szyn:Wiele serwerów AI wykorzystuje 4 lub 8 kart sieciowych na węzeł, po jednej na parę procesorów graficznych, w przypadku topologii zoptymalizowanych-dla kolei.

Typowy serwer z 8 procesorami graficznymi wykorzystuje obecnie karty sieciowe 4 × 400G (po jednej na dwa procesory graficzne) lub 8 kart sieciowych 400G (po jednej na procesor graficzny) w zależności od obciążenia i budżetu. Architektury referencyjne zDokumentacja sieciowa NVIDIAszczegółowo omówić kompromisy projektowe.

Przełączniki liści i kręgosłupa

Kryteria wyboru przełącznika dla struktur AI różnią się od kryteriów wyboru przedsiębiorstwa. Rozmiar bufora, zachowanie kontroli przeciążenia i dane telemetryczne mają większe znaczenie niż szerokość funkcji.

• Szybkość i podstawa-portu:Przełącznik ASIC o szybkości 51,2 Tb/s zapewnia 64 porty × 800G lub 128 portów × 400G. Radix określa, jak płaska może być tkanina.
• Architektura bufora:Głębokie bufory pochłaniają impulsy incast, ale zwiększają opóźnienie. Płytkie bufory zmniejszają opóźnienia, ale wymagają precyzyjnej kontroli przeciążenia.
• Zestaw funkcji RoCE:Oznakowanie ECN, PFC, DCQCN lub równoważna kontrola zatorów i właściwa obsługa kolejek priorytetowych od końca-do-końca.
• Telemetria:Telemetria sieci wewnętrznej (INT), raportowanie-głębokości kolejki i liczniki rozdzielczości-w mikrosekundach dla znaków ECN i przerw PFC.

Optyka, okablowanie DAC i AOC

Przy 400G i 800G instalacja okablowania staje się prawdziwym problemem inżynieryjnym. Kształty, budżety łączy i konfiguracje podziału wymagają wczesnego planowania.

• DAC (miedź podłączana bezpośrednio):Do ~3 metrów przy 400G, najniższy koszt i najniższa moc. Ciężki i nieporęczny w skali.
• AOC (aktywny kabel optyczny):Do ~30 metrów, cieńszy niż DAC, ale o stałej-długości i zużywający energię optyczną na obu końcach.
• Wtykowa optyka:Wymagane poza odległością AOC. QSFP-Dominuje format DD i OSFP 400G/800G. Zespoły włókien MPO/MTP obsługują równoległe-połączenia światłowodowe.

W przypadku-połączeń między szafami i okablowania strukturalnego w szybkości 400G/800G standardem jest teraz optyka równoległa z zakończeniami MPO. Wybór pomiędzy kablami magistralnymi a zespołami rozdzielającymi zależy od przydziału portów przełącznika. - zobacz naszeProwadnica kabla rozdzielającego MPOdla praktycznej logiki selekcji i szerszejPorównanie pnia MPO z wybiciempodczas planowania tras od liści-do-grzbietu.

RoCE i bezstratny Ethernet w tkaninach AI

RoCEv2 (RDMA over Converged Ethernet v2) to dominujący transport Ethernet dla obciążeń AI. Umożliwia kartom sieciowym przenoszenie danych bezpośrednio pomiędzy obszarami pamięci GPU, bez angażowania jądra po obu stronach. NCCL, biblioteka komunikacyjna GPU, będąca podstawą prawie wszystkich rozproszonych platform szkoleniowych, korzysta z RoCEv2, gdy InfiniBand nie jest dostępny.

RoCE działa dobrze, jeśli jest poprawnie skonfigurowany. Zawodzi brzydko, gdy jest nieprawidłowo skonfigurowany. TheStowarzyszenie Branżowe InfiniBandpublikuje specyfikacje RoCE, a większość dostawców kart sieciowych i przełączników publikuje szczegółowe instrukcje konfiguracji, których należy przestrzegać od początku do końca.

Dlaczego bezstratne zachowanie ma znaczenie

RDMA zaprojektowano przy założeniu transportu bezstratnego. Kiedy pakiety upadają, odzyskiwanie RDMA jest kosztowne. - powrót-powrót-N retransmisja może opóźnić etap uczenia na milisekundy, co jest ogromną wartością w porównaniu z budżetem RDMA w-mikrosekundowej skali.

Aby uzyskać przybliżone zachowanie bezstratne w sieci Ethernet, struktura wykorzystuje dwa współpracujące mechanizmy:

• PFC (Priorytetowa kontrola przepływu, IEEE 802.1Qbb):Przełącznik wstrzymuje ruch przychodzący w określonej kolejce priorytetowej po zapełnieniu bufora. Jest to mechanizm stosowany w ostateczności.
• ECN (jawne powiadomienie o przeciążeniu, RFC 3168):Przełączniki zaznaczają pakiety, gdy kolejki zbliżają się do progu. Karta sieciowa zmniejsza szybkość wysyłania przed faktycznym zapełnieniem buforów, w idealnym przypadku całkowicie unikając PFC.

Celem jest, aby ECN zajmowała się prawie całym zarządzaniem zatorami, przy czym PFC stanowiło siatkę bezpieczeństwa. Jeśli widzisz częste przerwy PFC w-stanie stabilnym ruchu, oznacza to, że Twoje progi ECN są nieprawidłowe lub Twoja struktura jest za mała.

Typowe błędy we wdrażaniu RoCE

Jak zaprojektować sieć klastrów AI: ramy robocze

Jest to sekcja, którą pomija większość artykułów na temat sieci AI. Poniższe siedem kroków zapewnia konkretne dane wejściowe i wyjściowe na każdym etapie.

Krok 1: Zdefiniuj obciążenie pracą i skalę

Wejścia:Typ obciążenia (wstępne szkolenie,-dostrajanie, wnioskowanie, mieszane), docelowa liczba procesorów graficznych na dzień dzisiejszy, docelowa liczba procesorów graficznych za 18 miesięcy, zakres rozmiarów modelu.

Wyjście:Profil obciążenia informujący o szybkości karty sieciowej i tolerancji nadmiernej subskrypcji. Duże wstępne szkolenie modeli granicznych wymaga-nieblokujących sieci szkieletowych 400G+. Dokładne-dostrajanie obciążeń może tolerować nadsubskrypcję 2:1. Klastry wnioskowania często wymagają mniejszej przepustowości, ale mniejszego opóźnienia końcowego.

Krok 2: Wybierz prędkość karty sieciowej i liczbę na serwer

Logika decyzji:

• Wstępne uczenie dużych modeli, serwerów z 8 procesorami graficznymi → 4–8 kart sieciowych 400G na serwer lub 4 karty sieciowe 800G
• Szkolenie-na średnią skalę, serwery z 8 procesorami graficznymi → 2–4 karty sieciowe 400 Gb na serwer
• Obsługa wnioskowania → 1–2 karty sieciowe 200G lub 400G na serwer, w zależności od równoległości modelu

Sprawdź przepustowość PCIe na hoście. Pojedynczy port 400G wymaga PCIe Gen5 x16 do działania z szybkością łącza; podwojenie do 800G wymaga Gen6 lub podziału na dwa gniazda.

Krok 3: Rozmiar warstwy liści

Sprawdzony przykład - 32-klastra węzłów, 8 procesorów graficznych na węzeł, 4 karty sieciowe 400G na węzeł:

• Łączna liczba potrzebnych-portów serwerowych: 32 × 4=128 portów przy 400G
• Przepustowość łącza w dół na węzeł: 4 × 400=1.6 Tb/s
• Całkowita przepustowość łącza pobierającego klastra: 32 × 1.6=51.2 Tb/s

Używając 64-portowego przełącznika liściastego 400G (całkowita przepustowość 25,6 Tb/s), do każdego skrzydła można podłączyć 32 porty serwera, a pozostałe 32 porty wykorzystać jako łącza nadrzędne. Dzięki 4 listwom pokrywasz wszystkie 128 portów serwerów. Każdy liść zapewnia 32 × 400 G=12.8 Tb/s łącza wysyłającego w kierunku kręgosłupa.

Krok 4: Rozmiar warstwy grzbietu

W przypadku projektu nie-blokującego (1:1) całkowita przepustowość łącza wysyłającego musi być równa całkowitej przepustowości łącza pobierającego. Od kroku 3:

• Wymagane całkowite łącze nadrzędne: 4 liście × 12,8 Tb/s=51.2 Tb/s
• Jeśli każdy kręgosłup ma 32 porty × 400G=12.8 Tb/s, potrzebujesz 4 portów
• Każdy liść łączy się ze wszystkimi 4 kolcami za pomocą 8 łączy w górę na każdy grzbiet (8 × 400 G × 4=12.8 Tb/s na liść - dopasowań)

W przypadku korzystania z 64-portowych przełączników typu „spine” 400G każdy z nich ma wolną przestrzeń do rozbudowy klastra, co jest przydatne w przypadku 18-miesięcznego planu z kroku 1.

Krok 5: Ustaw współczynnik nadsubskrypcji

Krok 6: Oddziel ruch związany z obliczeniami, pamięcią masową i zarządzaniem

Trzy opcje w kolejności rosnącej izolacji:

• Współdzielona tkanina z klasami QoS:Obliczenia, przechowywanie i zarządzanie na oddzielnych priorytetach DSCP. Najniższy koszt; wymaga starannej konfiguracji QoS.
• Logicznie oddzielone sieci VLAN/VRF:Ten sam sprzęt, oddzielne płaszczyzny sterowania. Przydatne w przypadku klastrów-z wieloma dzierżawcami.
• Fizycznie oddzielne tkaniny:Dedykowane karty sieciowe, przełączniki i okablowanie do obliczeń i pamięci masowej. Najwyższy koszt; powszechne w klastrach modeli granicznych-, w których jakakolwiek rywalizacja jest niedopuszczalna.

Ruch w pamięci masowej dla sztucznej inteligencji sam w sobie jest duży. - zapisy w punktach kontrolnych w przypadku dużego modelu mogą przenosić setki gigabajtów w krótkich seriach. Zaplanuj to wyraźnie. Instalacja okablowania strukturalnego o dużej-gęstościKable magistralne MPO/MTPupraszcza uruchamianie równoległych sieci szkieletowych w tej samej infrastrukturze fizycznej.

Krok 7: Sprawdź poprawność przed produkcją

Testy na poziomie sieci-wykrywają pewne problemy. Resztę wychwytują testy poziomu-zatrudnienia.

• Przepustowość łącza:iperf3 lub ib_send_bw pomiędzy każdą parą węzłów; powinien osiągnąć 90%+ szybkości linii NIC.
• Utajenie:ib_read_lat lub podobny; sprawdź dystrybucję, a nie tylko średnią. P99,9 ma większe znaczenie niż średnia.
• Utrata pakietów:Przeprowadź 24-godzinny test wygrzewania pod obciążeniem; każda niezerowa strata w klasie ruchu RoCE jest problemem.
• Zachowanie przy znakowaniu ECN:Sprawdź, czy przed uruchomieniem PFC pojawiają się znaki; jeśli przerwy PFC są częste w stanie ustalonym, dostrój ponownie.
• Komunikacja zbiorowa:Uruchom testy NCCL (all_reduce_perf, all_gather_perf) przy pełnym rozmiarze klastra. Porównaj z numerami referencyjnymi dostawców.
• Test-poziomu stanowiska:Przeprowadź reprezentatywne zadanie szkoleniowe na 4–6 godzin. Obserwuj, jak wykorzystanie procesora graficznego ({3}} utrzymuje się na poziomie poniżej 50% w modelu o odpowiednich-wymiarach zwykle wskazuje na problem z siecią.

Tradycyjna sieć centrów danych a kręgosłup AI-Leaf Fabric

Ethernet RoCE vs InfiniBand: przewodnik szybkiej decyzji

To pytanie pojawia się w prawie każdym projekcie klastra AI. Obydwa działają. Wybór zwykle sprowadza się do dopasowania operacyjnego, a nie czystej wydajności.

• Wybierz InfiniBand, jeśli:Twój zespół obsługuje już struktury InfiniBand, potrzebujesz najprostszej ścieżki do bezstratnego transportu lub kupujesz w pełni-zintegrowaną architekturę referencyjną dostawcy.
• Wybierz Ethernet RoCE, jeśli:Twój zespół operacyjny korzysta z-sieci Ethernet, potrzebujesz opcji przełączników wielu-dostawców, musisz zintegrować strukturę sztucznej inteligencji z istniejącymi sieciami w centrach danych lub przewidujesz skalowanie wykraczające poza to, co obsługują obecne topologie InfiniBand.

Konsorcjum Ultra Ethernet, utworzone w 2023 r., aktywnie pracuje nad standaryzacją ulepszeń sieci Ethernet specjalnie pod kątem obciążeń AI. W przypadku większości nowych klastrów w 2026 r. Ethernet RoCE będzie wartością domyślną, którą można obronić, chyba że istnieje konkretny powód, aby wybrać inaczej.

Typowe błędy, których należy unikać

Aktualizacja przełączników bez sprawdzania kart sieciowych

Przełącznik 800G nie ma żadnego zastosowania, jeśli karty sieciowe działają z szybkością 400G lub w przypadku wyczerpania przepustowości PCIe hosta. Najpierw zaprojektuj stronę hosta, a następnie stronę przełącznika. PCIe Gen5 x16 ogranicza pojedynczy port do około 504 Gb/s-rzeczywistej przepustowości światowej - wygodnej dla 400G, marginalnej dla 800G.

Optymalizacja szybkości portu, ale ignorowanie gęstości okablowania

Przy 64-portach 400G okablowanie pod każdym przełącznikiem może stać się fizycznie niemożliwe bez planowania. W stosownych przypadkach używaj kabli typu breakout, prowadź włókna przez ustrukturyzowane ścieżki i standaryzuj typy złączy. Jakość złącza i zakończenie mają znaczenie przy dużych prędkościach - naszeprzewodnik po typach złączy światłowodowychobejmuje kompromisy pomiędzy LC, MPO i nowymi obudowami o-dużej gęstości.

Traktowanie RoCE jako Plug-and{1}}Play

Największym błędem projektowym w prawdziwych klastrach AI nie jest wybranie niewłaściwego przełącznika -, ale niedoszacowanie, ile pracy konfiguracyjnej RoCE wymaga-od{2}}końca. Czas budżetowy na dostrojenie progów ECN, priorytetów PFC i spójności MTU. Zaplanuj dedykowaną fazę sprawdzania poprawności przed uruchomieniem jakiegokolwiek obciążenia produkcyjnego.

Mieszanie całego ruchu w jednej sieci bez QoS

Replikacja pamięci masowej, agenci monitorujący i ruch związany z zarządzaniem mogą zrujnować czas etapów uczenia, jeśli współdzielą bufory z ruchem obliczeniowym. Albo oddziel je fizycznie, albo wymuś ścisłe klasy QoS z oddzielnymi priorytetami i konfiguracją ECN.

Budowanie wyłącznie dla dzisiejszego klastra

Większość klastrów AI rozrasta się 4–8 razy w ciągu dwóch lat od pierwszego wdrożenia. Wybierz podstawę przełącznika i pojemność kręgosłupa, która umożliwia-niezakłócającą rozbudowę. Przeciąganie kabli w działającym centrum danych AI jest kosztowne; planowanie przepustowości przewodów i łat w czasie wdrażania jest tanie.

Kiedy zwiększyć z 400G do 800G

Dostępne są karty sieciowe i przełączniki 800G, ale droższe w przeliczeniu na port. Rozważ zwiększenie intensywności, gdy:

• Na-zapotrzebowanie na przepustowość procesora graficznego przekracza to, co może zapewnić 400G - na przykład H100 i nowsze procesory graficzne z NVLink 5 wymagają większej przepustowości zewnętrznej
• Czasy wszystkich-NCCL są słabo skalowane w zależności od rozmiaru klastra, co wskazuje na nasycenie sieci
• Gęstość kabli przy przepustowości 400 G staje się fizycznie niemożliwa do zarządzania - mniej portów 800 G może zastąpić więcej portów 400 G
• Oczekuje się, że następna generacja procesora graficznego ujęta w planie działania będzie go potrzebować w okresie amortyzacji klastra
• Tworzysz pionierski-klaster do trenowania modelu, w którym każdy czas bezczynności obliczeniowej kosztuje znacznie więcej niż modernizacja optyki

W przypadku większości klastrów produkcyjnych w 2026 r. sieć 400G pozostanie właściwą równowagą kosztów, dojrzałości ekosystemu i możliwości. 800G ma sens w wyższej klasie i jako inwestycja przyszłościowa w przypadku klastrów budowanych obecnie i przewidywanych, że będą działać przez 4–5 lat.

Wniosek

Najsilniejsza sieć klastrów AI to nie ta z najszybszymi przełącznikami. Jest to ten, w którym wybór karty sieciowej, rozmiar liścia/grzbietu, nadsubskrypcja, konfiguracja RoCE, separacja ruchu i fizyczne okablowanie wspierają się nawzajem i zapewniają obciążenie pracą, do jakiego zostały wybrane.

Zacznij od obciążenia pracą i 18-miesięcznego planu rozwoju. Oblicz zapotrzebowanie na przepustowość w każdej warstwie, używając liczb rzeczywistych, a nie tylko praktycznych zasad. Skonfiguruj RoCE od końca-do-końca i zweryfikuj rzeczywiste testy porównawcze komunikacji zbiorowej. Budżet na okablowanie – przy 400G i 800G warstwa fizyczna nie jest już trywialna.

Klaster, który utrzymuje wykorzystanie swoich procesorów graficznych na poziomie ponad 95% na każdym etapie szkolenia, to ten, który zwraca uwagę na wszystkie te warstwy. Klaster wyposażony w szybszy przełącznik i wolniejszą strukturę będzie musiał latami wyjaśniać, dlaczego procesory graficzne są bezczynne.

Dalsze czytanie

• RFC 7938 - BGP w-dużych centrach danych
• Specyfikacje RoCE firmy InfiniBand Trade Association -
• Dokumentacja sieciowa NVIDIA
• Instrukcja instalacji kabla światłowodowego
• Wyjaśnienie utraty wtrąceniowej a straty zwrotnej