
Bufory przełącznika to małe pule pamięci wewnątrz przełącznika sieciowego, które przechowują pakiety przez chwilę, gdy ruch dociera szybciej, niż port może go wysłać. W cichej korporacyjnej sieci LAN brzmi to jak przypis dotyczący sprzętu. W klastrze szkoleniowym AI lub gęstej strukturze chmurowej te same kilka megabajtów pamięci może zadecydować o tym, czy rozproszone zadanie zakończy się na czas, czy też przestanie czekać na pojedyncze, przeciążone łącze.
Podstawowa idea jest prosta, ale utrudnia podejmowanie wielu decyzji zakupowych: bufory są cenne, ponieważ pochłaniają impulsywiększy bufor nie jest automatycznie lepszy. Właściwy projekt zależy od wzorca ruchu, wrażliwości obciążenia na opóźnienia lub straty, zastosowanej metody-kontroli przeciążenia oraz sposobu, w jaki przełącznik rozdziela pamięć buforową pomiędzy porty i kolejki. Przełącznik z bardzo dużym buforem może nadal działać gorzej niż mniejszy, jeśli pamięć ta ukrywa przeciążenie, zamiast je opróżniać.
Ten przewodnik został napisany w oparciu o wzorce powszechnie spotykane w strukturach RoCEv2 i wdrożeniu kręgosłupa o-gęstości liści-. Wyjaśnia, do czego właściwie służą bufory przełączników, dlaczego ruch AI i GPU w różny sposób je obciąża, jak wybór buforów wpływa na opóźnienia i utratę pakietów oraz co należy przetestować przed podjęciem decyzji o przełączeniu.
Co to są bufory przełączające?
Bufor przełącznika to tymczasowa pamięć pakietów. Kiedy kilka pakietów musi opuścić ten sam port w tej samej chwili, przełącznik nie może przesłać ich wszystkich naraz, więc umieszcza dodatkowe pakiety w kolejce i przekazuje je dalej, gdy port wyjściowy jest wolny.
To kolejkowanie ma miejsce w kilku przewidywalnych momentach:
- Ruch „wiele-do-jednego (incast), w którym wielu nadawców kieruje reklamy do tego samego odbiorcy lub tego samego łącza wysyłającego
- Mikrowyładowania, krótkie i intensywne impulsy trwające od mikrosekund do kilku milisekund
- Niedopasowania szybkości interfejsu, np. port 400G obsługujący wolniejsze łącze odbiorcze
- Linki z nadsubskrypcją i zsynchronizowane impulsy docierające z wielu źródeł jednocześnie
- Przeciążenie w jednej określonej kolejce wyjściowej lub klasie ruchu
Bez wystarczającej ilości użytecznego bufora przełącznik odrzuca pakiety. Przy zbyt dużym zajętym buforze pakiety pozostają w kolejce, a opóźnienia rosną. Dobra konstrukcja bufora opiera się na napięciu pomiędzy tymi dwoma niepowodzeniami: pochłanianiem prawdziwych impulsów bez przekształcania kolejki w długopis.
Dlaczego obciążenia ruchu AI i GPU zmieniają bufory w różny sposób
Obciążenia AI nie wyglądają jak ruch internetowy lub biurowy. Klastry GPU generują ogromny ruch między serwerami ze wschodu-zachodu, a podczas uczenia rozproszonego komunikacja jest często synchronizowana: wiele akceleratorów wymienia dane w tym samym momencie, w tym samym kierunku i w tej samej sieci szkieletowej.
Wspólne działania tylko pogarszają sytuację. Krok all-redukcji, synchronizacja parametrów lub wymiana gradientów może zakończyć się serią wiele-do-jednego lub wiele-do-, która blokuje zestaw kolejek wyjściowych w ciągu mikrosekund. Ponieważ impulsy są krótkie i ściśle ze sobą powiązane, łatwo je przeoczyć przy zgrubnym monitorowaniu. Na przykład łącze może odczytać tylko około 40% średniego wykorzystania w jedno-sekundowym lub pięcio-minutowym oknie odpytywania, jednocześnie osiągając prędkość linii przez milisekundy na raz, czyli wystarczająco długo, aby wypełnić kolejkę, oznaczyć ECN lub wywołać pauzę PFC.
Powodem, dla którego ma to tak duże znaczenie w strukturach AI, jest struktura zależności zadania. Trening rozproszony ma tendencję do poruszania się z prędkością najwolniejszego przepływu. Gdy jeden węzeł GPU czeka na opóźniony ruch, reszta klastra często pozostaje bezczynna, a drogie akceleratory marnują czas, czekając w sieci, zamiast wykonywać obliczenia. Zdarzenie buforowe, które byłoby niewidoczne na warstwie sieciowej, może tutaj bezpośrednio wydłużyć czas ukończenia zadania.
Dzięki tej strukturze wschód-zachód wybór-warstwy fizycznej wiąże się z zachowaniem bufora. Zaplecza GPU o dużej-gęstości są zwykle połączone przewodowoOkablowanie miejskie MTP/MPO o dużej-gęstościpomiędzy liściem a grzbietem, a prędkość łącza jest w coraz większym stopniu ustalana przez wybraną optykęModuły 400G i 800G, takie jak QSFP-DD. Im szybsze i bardziej przeciążone są te łącza, tym więcej pracy muszą wykonać ustawienia bufora i przeciążenia przełącznika podczas zsynchronizowanej serii.

Jak bufory przełącznika wpływają na opóźnienia, utratę pakietów i przepustowość
Bufory kształtują wydajność na trzy powiązane ze sobą sposoby.
Zbyt mały bufor powoduje utratę pakietów
Kiedy seria przekracza dostępny bufor, ogon przełącznika-porzuca pakiety. W ruchu opartym na protokole TCP-wyzwalającym retransmisję i ograniczającym efektywną przepustowość. W przypadku pamięci masowej i ruchu AI może wydłużyć czas realizacji zadania i spowodować, że wydajność będzie niestabilna. Pułapka polega na tym, że średnia przepustowość często wygląda dobrze: w przypadku zdarzenia incast kilku nadawców trafia do tej samej kolejki wyjściowej niemal w tym samym momencie, a kolejka zostaje przepełniona, mimo że wykres minuty-po-minutach wygląda spokojnie.
Zbyt duży ruch w kolejce zwiększa opóźnienia
Duży bufor nie jest wolnym marginesem bezpieczeństwa. Jeśli pakiety znajdują się w głębokiej kolejce, kumulują się opóźnienia w kolejkowaniu, w wyniku czego sieć się w nią wsuwabuforowanie, gdzie spadki są rzadkie, ale opóźnienia są duże i nieprzewidywalne. Ten tryb awaryjny byłszczegółowo udokumentowane przez Gettysa i Nicholsa w ACM Queuei jest to dokładnie zły wynik w przypadku procesorów graficznych wrażliwych na opóźnienia-, gdzie przewidywalne małe opóźnienia mają większe znaczenie niż ukrywanie zatorów w pamięci.
Zła alokacja buforów powoduje niesprawiedliwość
Całkowity rozmiar bufora ukrywa ważniejsze pytanie: w jaki sposób przełącznik dzieli tę pamięć na porty, kolejki i klasy ruchu. Przełącznik może przenosić dużą ilość zagregowanego bufora, a mimo to zachowuje się źle, jeśli jeden port lub klasa wyczerpuje współdzieloną pulę i pozbawia resztę dostępu. W środowiskach sztucznej inteligencji i pamięci masowej ta niesprawiedliwość spowalnia całe zadanie, ponieważ najwolniejszy przepływ wyznacza czas zakończenia.

Bufor współdzielony vs bufor dedykowany vs bufor głęboki
Porównując przełączniki do centrum danych, architektura bufora ma większe znaczenie niż podstawowa pojemność.
Wspólny bufor
Bufor współdzielony to wspólna pula pamięci, z której porty i kolejki korzystają na żądanie. Ponieważ nieużywaną pamięć w cichym miejscu można wypożyczyć wszędzie tam, gdzie pojawia się przeciążenie, współdzielone bufory dobrze absorbują impulsy w centrach danych, gdzie port, który w jednej chwili jest bezczynny, w następnej może przyjąć serię. Ich słabością jest to, że polegają na dobrej logice alokacji, aby powstrzymać jedną gorącą kolejkę przed zjedzeniem puli.
Dedykowany bufor
Dedykowany bufor jest zarezerwowany dla określonego portu, kolejki lub klasy ruchu. Poprawia to izolację, ponieważ jedna przeciążona klasa jest w mniejszym stopniu zdolna do wykorzystania wszystkiego, ale- nadmierne rezerwowanie marnuje pojemność, ponieważ pamięć zablokowana na cichym porcie nie jest dostępna tam, gdzie faktycznie trafia seria.
Głęboki bufor
Przełącznik głębokiego-bufora zapewnia znacznie większe buforowanie, zaprojektowane z myślą o dużych seriach, łączach-na duże odległości lub utrzymujących się niedopasowaniach prędkości. Głębokie bufory sprawdzają się w niektórych rolach sieci WAN, routingu i agregacji, często w połączeniu z nimiświatłowód jednomodowy-dla łączy-na dłuższych dystansach, ale często są one niewłaściwym ustawieniem domyślnym w przypadku backendu procesora graficznego-o małych opóźnieniach, gdzie mają tendencję do maskowania zatorów i dodawania opóźnień. W przypadku sieci wrażliwych na opóźnienia-przewidywalne przekazywanie zwykle przewyższa głębokość pierwotnego bufora.
Szybkie porównanie
| Typ bufora | Wytrzymałość | Główne ryzyko | Najlepsze dopasowanie |
|---|---|---|---|
| Wspólny | Elastyczna absorpcja wybuchowa | Potrzebuje solidnej logiki alokacji | Dynamiczny ruch w centrum danych |
| Dedykowany | Silna izolacja pomiędzy zajęciami | Zmarnowana pojemność, jeśli-jest nadmiernie zarezerwowana | Klasy ruchu, które muszą być chronione |
| Głęboko | Pochłania bardzo duże wybuchy | Większe opóźnienie w kolejce | WAN, routing, specjalna agregacja |
Bufory przełączania i kontrola przeciążenia RoCEv2: ECN i PFC
Większość sieci AI Ethernet obsługuje technologię RoCEv2, która zapewnia niskie-opóźnienia i-dużą przepustowość RDMA. W tych sieciach bufory i kontrola przeciążenia są nierozłączne: ustawione progi buforów określają, kiedy znaki ECN i kiedy uruchamia się PFC.
ECN powinien wcześnie sygnalizować zatory
Wyraźne powiadomienie o przeciążeniu (ECN), zdefiniowane w RFC 3168, pozwala przełącznikowi oznaczać pakiety w miarę narastania przeciążenia, zamiast je odrzucać. Odbiorca powtarza ten sygnał, więc nadawca zwalnia, zanim kolejka się przepełni. W sieciach RoCEv2 próg oznaczenia jest decyzją dostrojoną, która ma realne konsekwencje: zaznacz za późno, a kolejka jest już głęboka, gdy źródła zareagują; zaznacz zbyt wcześnie i ograniczysz przepustowość, nie musisz się poddawać.
PFC powinna być siecią bezpieczeństwa, a nie pierwszą reakcją
Kontrola przepływu-oparta na priorytetach (PFC), standaryzowana jako IEEE 802.1Qbb, wstrzymuje ruch w klasie priorytetu, aby zapobiec stratom w kolejkach bezstratnych. Jest to niezbędne, ale jest to tępe narzędzie. Opieraj się na nim zbyt często, a spowoduje to zwiększenie zatorów w górę rzeki, powodując burze powodujące przerwy i blokowanie-linii-, które karzą przepływy, które nigdy nie były przyczyną. Zdrowszy wzorzec jest dobrze ugruntowany: wZakrojone na dużą skalę-prace firmy Microsoft dotyczące RDMA, które doprowadziły do wprowadzenia DCQCN, kontrola przeciążenia oparta na szybkości-, sterowana przez ECN, obsługuje rutynowe zdarzenia, podczas gdy PFC pozostaje w rezerwie jako ostatnia linia obrony, a artykuł ten zawiera również konkretne wytyczne dotyczące dostrajania progów bufora przełącznika.
Progi bufora muszą odpowiadać obciążeniu
Progi skopiowane z projektu referencyjnego rzadko przetrwają kontakt z prawdziwym ruchem. Obciążenia związane z trenowaniem sztucznej inteligencji, wnioskowaniem, przechowywaniem i mieszanymi chmurami różnią się od siebie, a właściwe ustawienia ECN/PFC zależą od przepustowości, szybkości łącza, współczynnika nadsubskrypcji, projektu kolejki i stopnia, w jakim obciążenie toleruje opóźnienia w stosunku do strat. Traktuj ustawienia domyślne dostawcy jako punkt wyjścia, a następnie dostosuj się do własnego ruchu.
Diagnozowanie bufora-Powiązane problemy: objawy, przyczyny i wskaźniki
Kiedy wydajność aplikacji spada, ale pulpity nawigacyjne wyglądają na zielone, częstą ukrytą przyczyną jest ciśnienie bufora. Przydatnym pierwszym krokiem jest odczytanie danych telemetrycznych w kolejności przyczyny i skutku, zamiast skupiania się na wykorzystaniu łącza. Poniższa tabela przedstawia objawy na prawdopodobnych problemach z buforem oraz metrykę, która je potwierdza.
| Objaw | Prawdopodobna przyczyna-związana z buforem | Dane do sprawdzenia w pierwszej kolejności |
|---|---|---|
| Retransmisje przy normalnym średnim wykorzystaniu | Ogon Microbursta opada na kolejkę wyjściową | Szczyty obłożenia kolejek, koniec i spadki wydajności |
| Skoki opóźnienia z kilkoma kroplami lub bez nich | Zbyt-głęboka kolejka/przepełnienie bufora | Percentyle opóźnienia (p99), głębokość kolejki |
| Przepustowość spada poniżej wielu-do-jednego | Incast przepełniający wspólną pulę | Spadek podczas incastu, na-zajętość kolejki |
| Okresowe przestoje w całym klastrze | PFC wstrzymuje burze rozprzestrzeniające się w górę rzeki | Klatki pauzy PFC i czas trwania pauzy |
| Jeden powolny przepływ ciągnie całą pracę | Nieuczciwe dzielenie bufora pomiędzy klasami | Według-priorytetowego obłożenia,-liczniki gorących kolejek |
| Procesory graficzne bezczynne oczekują w sieci | Zatory komunikacyjne wydłużające działalność zbiorową | Wskaźnik oceny ECN, czas zakończenia przepływu, wykorzystanie procesora graficznego |
Czytaj od góry do dołu, naturalnym łańcuchem diagnostycznym jest głębokość kolejki, następnie znaczniki ECN, następnie ogon, następnie klatki pauzy PFC, następnie czas zakończenia przepływu, a następnie wykorzystanie procesora graficznego. Jeśli wskaźniki sieci są czyste, ale zadania nadal działają wolno, problem prawdopodobnie występuje przed strukturą sieciową, a nie wewnątrz bufora przełącznika.
Badania laboratoryjne, które warto przeprowadzić i jak wygląda „zaliczenie”.
Przed wdrożeniem w sztucznej inteligencji lub w sieci szkieletowej o wysokiej-wydajności przeprowadź test z ruchem przypominającym rzeczywiste obciążenie i zdefiniuj kryterium zaliczenia dla każdego testu, a nie tylko sprawdzaj przepustowość łącza.
- Wiele-do{1}}incastów:zwiększaj współczynnik-wentylatora; pass oznacza brak ogona i ograniczone opóźnienie p99 przy docelowej nadsubskrypcji.
- Wiele-do-wielu, wszyscy-redukują styl:napędzaj zsynchronizowane impulsy; pass oznacza sprawiedliwe czasy ukończenia wszystkich przepływów, bez pojedynczego marudera.
- Mieszany krótki- i długi-przepływ:biegnij, słoń i mysz płyną razem; pass oznacza, że krótkie przepływy utrzymują niskie opóźnienia, podczas gdy długie przepływy nadal wypełniają łącze.
- Przeciążenie RoCEv2 z walidacją ECN/PFC:potwierdź znaki ECN przed wstrzymaniem PFC; pass oznacza, że ECN wykonuje pracę, a PFC rzadko się uruchamia.
- Nadsubskrypcja i ponowna konwergencja awarii:upuść łącze w połowie-serii; pass oznacza płynną zmianę trasy bez spadków i klifów opóźnień.
Celem nie jest sprawdzenie-przepustowości linii na bezczynnym przełączniku. Chodzi o sprawdzenie, jak zachowuje się przełącznik, gdy ruch staje się gwałtowny, zsynchronizowany i nieuczciwy, a to jedyny stan mający znaczenie w środowisku produkcyjnym. Planując okablowanie i złącza do obsługi testów na dużą skalę, należy npporównanie inżynieryjne opcji MTP i MPOjest przydatnym towarzyszem.
Głęboki-bufor czy przełącznik o niskim-opóźnieniu?
Nie ma jednego najlepszego przełącznika, jest tylko taki, który najlepiej pasuje do danej tkaniny. Skorzystaj z poniższej tabeli, aby szybko zawęzić wybór, a następnie zweryfikuj go za pomocą powyższych testów laboratoryjnych.
| Jeśli twoja tkanina jest | Ustal priorytety | Bufor pochylony |
|---|---|---|
| Zaplecze procesora graficznego AI (zsynchronizowane impulsy, opóźnienie-krytyczne) | Niskie opóźnienia, silna telemetria, strojenie ECN/PFC | Niskie-opóźnienie, współdzielone z dobrą alokacją |
| Przechowywanie / bezstratne | Uczciwość, czas ukończenia zadania, opóźnienie pod obciążeniem | Umiarkowany, z dobrze-odizolowanymi klasami |
| Chmura mieszana (różna prędkość łącza) | Elastyczna alokacja, izolacja klas, widoczność | Wspólne i elastyczne |
| WAN / agregacja-na duże odległości | Absorbowanie dużych serii i niedopasowania prędkości | Głęboki bufor (nadal sprawdzany pod kątem docelowych opóźnień) |
Mieszane struktury chmurowe są najtrudniejszym przypadkiem, ponieważ często łączą-szybsze łącza wysyłające z wolniejszymi łączami dostępowymi. Jeśli planujesz te prędkości dostępu, przewodnik poInterfejsy 10GBASE-T i SFP+ 10GbEmoże pomóc w zaplanowaniu, gdzie będą zmiany prędkości, a co za tym idzie, ciśnienie buforujące.
Często zadawane pytania
P: Czy większe bufory przełączników są zawsze lepsze?
O: Nie. Większe bufory zmniejszają utratę pakietów podczas serii, ale powodują też dłuższe kolejkowanie pakietów, co zwiększa opóźnienia i może powodować przepełnienie bufora. W przypadku sztucznej inteligencji i struktur pamięci masowej wrażliwych na opóźnienia-umiarkowany,-dobrze zarządzany bufor zwykle jest lepszy od bardzo głębokiego. Najlepszy bufor to taki, który ma taki rozmiar i jest przeznaczony do pochłaniania rzeczywistych impulsów bez dodawania możliwych do uniknięcia opóźnień.
P: Jaka jest różnica między buforem współdzielonym a buforem dedykowanym?
O: Bufor współdzielony to wspólna pula, z której może korzystać każdy port lub kolejka, kiedy tego potrzebuje, co sprawia, że skutecznie absorbuje nieprzewidywalne impulsy. Dedykowany bufor jest zarezerwowany dla określonego portu, kolejki lub klasy, co poprawia izolację, ale może marnować pamięć, jeśli zarezerwowane miejsce pozostaje bezczynne. Wiele przełączników do centrów danych wykorzystuje hybrydę tych dwóch.
P: Dlaczego mikrobursty powodują utratę pakietów, nawet jeśli wykorzystanie wygląda na niskie?
Odp.: Standardowe monitorowanie uśrednia ruch w ciągu sekund lub minut, więc wygładza skoki. Mikroburst może obniżyć prędkość linii tylko na kilka milisekund, zapełniając kolejkę wyjściową i wymuszając opadanie ogona, podczas gdy uśredniony wykres nadal pokazuje, że łącze jest lekko obciążone. Aby zobaczyć te zdarzenia, potrzebujesz kolejki-skalowanej w milisekundach i upuść dane telemetryczne.
P: Czy centra danych AI potrzebują przełączników-głębokiego bufora?
Odp.: Zwykle nie na zapleczu GPU. Głębokie bufory mają tendencję do maskowania zatorów i zwiększają opóźnienia, co utrudnia przewidywalne przesyłanie dalej z małym-opóźnieniem, którego wymaga rozproszone szkolenie. Głębokie bufory są bardziej odpowiednie dla ról WAN, routingu lub agregacji. W przypadku klastrów sztucznej inteligencji telemetria, sprawiedliwa alokacja i-dobrze dostrojone ECN/PFC zazwyczaj mają większe znaczenie niż sama głębokość bufora.
P: W jaki sposób bufory przełączników wpływają na wydajność RoCEv2?
O: W RoCEv2 progi bufora decydują, kiedy ECN oznacza pakiety, a kiedy PFC wstrzymuje priorytet. Dobrze ustawiony, ECN spowalnia nadawców wcześniej i sprawia, że kolejki są płytkie; źle ustawione, kolejki się przepełniają lub PFC uruchamia się zbyt często i powoduje zatory. Dopasowanie progów bufora do obciążenia jest jednym z najważniejszych kroków w celu uzyskania dobrego zachowania RoCEv2.
P: Jakie wskaźniki bufora powinienem monitorować w środowisku produkcyjnym?
O: Obserwuj zajętość kolejki, spadki końcowe i wyjściowe, szybkość znakowania ECN oraz klatki pauzy PFC i czas trwania, a następnie połącz je z sygnałami aplikacji, takimi jak czas zakończenia przepływu oraz, w przypadku struktur AI, wykorzystanie procesora graficznego. Jeśli wydajność aplikacji jest niska, a średnie wykorzystanie łącza wygląda normalnie, prawdopodobnie podejrzane jest ukryte ciśnienie bufora i mikropęknięcia.
Kluczowe dania na wynos
Bufory przełączników odgrywają decydującą rolę w wydajności sieci AI i centrów danych, ale sama pojemność nie mówi, czy przełącznik jest właściwym wyborem. Dobra konstrukcja bufora pochłania realistyczne impulsy, ogranicza utratę pakietów, zapewnia przewidywalność opóźnień, obsługuje sygnalizację ECN i PFC oraz udostępnia wystarczającą ilość danych telemetrycznych do rozwiązywania problemów. W przypadku centrów danych AI oceń architekturę buforów wraz z kontrolą przeciążenia, równoważeniem obciążenia, zarządzaniem kolejkami i zachowaniem rzeczywistego obciążenia, a nie jako izolowaną liczbę w arkuszu specyfikacji.
Zanim zatwierdzisz, przetestuj przełącznik w warunkach incast, microburst i przeciążenia i obserwuj, jak dzieli on pamięć, gdy ruch staje się nieuczciwy. Najlepszy bufor nie jest największy. Jest to architektura, która sprawia, że aplikacje są szybkie, uczciwe i przewidywalne w rzeczywistym ruchu.