Grzbiet 100G QSFP28-Projekt liścia: unikaj błędów w portach

Jun 10, 2026

Zostaw wiadomość

100G spine-leaf data center fabric with QSFP28 links

Sieć szkieletowa-leaf typu 100G to jeden z najbardziej niezawodnych sposobów łączenia serwerów 25G, łączy nadrzędnych 100G, klastrów pamięci masowej i dużych obciążeń ze wschodu-zachodu-w nowoczesnym centrum danych. Zaletą QSFP28 jest jego elastyczność: pojedynczy port może obsługiwać natywne łącze 100G lub podzielić na cztery połączenia serwerowe 25G, dzięki czemu jeden przełącznik może obsługiwać zarówno brzeg dostępu, jak i rdzeń struktury.

Szybkie przełączanie to łatwa część. Projekt 100G żyje lub umiera w zależności od decyzji podjętych przed złożeniem zamówienia: w jaki sposób przydzielany jest każdy port, jak wygląda współczynnik nadsubskrypcji w warunkach normalnych i awaryjnych, która optyka pasuje do rzeczywistych przebiegów kabli, ile ciepła dodaje ta optyka i czy tkanina może wzrosnąć do 400G bez modernizacji wózka widłowego.

Ten przewodnik jest neutralnym dla dostawcy-odniesieniem do planowania dla zespołów zajmujących się siecią i infrastrukturą. Poniższe liczby są zgodne z aktualnymi specyfikacjami sieci Ethernet IEEE 802.3 i odpowiednimi umowami dotyczącymi wielu-źródeł optycznych, ale każdy przełącznik i transceiver ma swój własny arkusz danych, dlatego należy sprawdzić dokładne liczby kupowanego sprzętu.

Jak czytać przykłady w tym przewodniku.O ile nie określono inaczej, zakładają pojedyncze-serwery macierzyste z jedną kartą sieciową 25G każda, 48 portów hosta na liść, łącza nadrzędne 100G typu liść-do-spine, pełną siatkę, w której każdy liść łączy się z każdym grzbietem, oraz włączoną korekcję błędów przesyłania tam, gdzie wymaga tego optyka. Podwójny-homing, szybsze karty sieciowe lub inna liczba portów spowodują zmianę każdego kolejnego numeru.

Co to jest sieć 100G Spine-Leaf?

Spine-leaf to dwupoziomowa-architektura centrum danych zbudowana z przełączników typu Leaf i przełączników typu Spine. Przełączniki typu Leaf znajdują się na górze każdej szafy i zapewniają porty-od strony serwera oraz łącza nadrzędne do rdzenia. Przełączniki kręgosłupa tworzą-szybki szkielet. Każdy liść łączy się z każdym grzbietem, więc ruch między stojakami przemieszcza się od liścia do grzbietu po liściu wzdłuż ścieżki o równej-długości.

Projekt jest popularny, ponieważ zapewnia:

  • Przewidywalna, równa długość ścieżki pomiędzy dowolnymi dwoma stojakami
  • Natywna obsługa dużego ruchu na wschodzie-zachodzie
  • Wszystkie łącza wysyłające są aktywne poprzez ECMP, a nie blokowane przez drzewo opinające
  • Proste skalowanie w poziomie - dodaj liście dla portów, dodaj grzbiety dla zwiększenia pojemności

W sieci szkieletowej 100G łącza typu liść-do-spine działają z szybkością 100G, natomiast-porty skierowane do serwera działają z szybkością 10G, 25G, 50G lub 100G, w zależności od obciążenia. Obecnie najczęstszą kombinacją w przedsiębiorstwach jest dostęp 25G z łączami nadrzędnymi 100G.

Two-tier spine-leaf network topology

Projekt fizyczny a projekt logiczny

„Projektowanie sieci” obejmuje dwie warstwy, które można łatwo połączyć. Ten przewodnik koncentruje się na warstwie fizycznej i pojemnościowej - portach, optyce, nadsubskrypcji i okablowaniu -, ponieważ do tego zobowiązujesz się przy zakupie sprzętu. Jednak warstwa logiczna decyduje o sposobie przekazywania ruchu przez sieć szkieletową i kształtuje kilka wyborów fizycznych.

Po stronie fizycznej przełącznik i wybór portu, prędkość karty sieciowej, nadsubskrypcja, optyka, okablowanie, zasilanie i chłodzenie. Po stronie logicznej należy uwzględnić-równoważenie obciążenia ECMP pomiędzy łączami nadrzędnymi; nakładka, taka jak VXLAN, z płaszczyzną kontrolną BGP EVPN dla warstw 2 i 3 z wieloma dzierżawcami-dla wielu dzierżawców na podkładce routowanej; podwójny-homing z MLAG lub MC-LAG i LACP na krawędzi dostępu; i niepowodzenie-rozmiaru domeny. W przypadku sieci szkieletowej RDMA należy także zaprojektować-sieć niemal bezstratną, co opisano poniżej. Ustal model logiczny wcześniej, ponieważ wpływa to na liczbę łączy w górę, liczbę potrzebnych kolców dla szerokości ECMP i to, czy liście są rozmieszczone jako pary MLAG.

Krok 1 - Zdefiniuj szybkość i obciążenie serwera

Zacznij od obciążenia, a nie od optyki. Ogólny klaster wirtualizacji, struktura pamięci masowej i moduł szkoleniowy AI mają bardzo różne potrzeby, a odpowiedni projekt dostosowuje się do ruchu.

Serwery 25G z łączami nadrzędnymi 100G

W przypadku większości środowisk chmurowych-prywatnych i korporacyjnych dostęp 25G z łączami nadrzędnymi 100G typu „leaf-do-spine” jest najlepszym rozwiązaniem: duży skok w stosunku do 10G przy jednoczesnym zachowaniu rozsądnych kosztów kart sieciowych, kabli i przełączników. Typowa kompilacja łączy łącza pobierające 25 Gb, łącza wysyłające 100 Gb i stosunek 2:1 do 3:1 do ogólnych obliczeń, przy czym mniejsza nadsubskrypcja jest zarezerwowana dla warstw wrażliwych na pamięć i opóźnienia. Pasuje do wirtualizacji, chmury prywatnej, warstw internetowych i większości korporacyjnych centrów danych.

Natywna pamięć 100G do przechowywania danych, sztucznej inteligencji i HPC

Niektóre zadania wymagają natywnej przepustowości 100G na serwerze: rozproszona pamięć masowa-NVMe-oF, szkolenia w zakresie sztucznej inteligencji i uczenia maszynowego-, HPC, analizy-na dużą skalę oraz RDMA o niskim-opóźnieniu. W tym przypadku nadsubskrypcja powinna być niska - często nie-blokująca lub bliska wartości -, ponieważ problemem jest wzorzec ruchu, a nie tylko jego natężenie.

Obciążenia AI, HPC i RDMA generują gęsty, zsynchronizowany ruch-do-całego wschodu-zachodu: wiele węzłów przesyła dane do wielu węzłów w tym samym momencie, więc wygładzanie statystyczne, które pozwala zaoszczędzić na strukturze wirtualizacji, nie ma już zastosowania. RDMA przez Converged Ethernet (RoCE) dodaje drugie ograniczenie, ponieważ wymaga niemal-bezstratnej sieci szkieletowej, co w praktyce oznacza dostrojoną od początku do końca kontrolę priorytetowego przepływu (PFC) i jawne powiadamianie o przeciążeniach (ECN). W przypadku sieci szkieletowej, która traci ramki w przypadku przeciążenia, wydajność RoCE spadnie, dlatego klastry te są zwykle budowane w proporcji 1:1 przy ostrożnej konfiguracji bufora i przeciążenia.

Krok 2 - Jak obliczyć porty przełącznika typu Leaf i Spine dla sieci szkieletowej 100G

Planowanie portu zaczyna się od liścia, a nie od kręgosłupa. Pracuj na zewnątrz z serwerów:

  1. Policz porty-serwerowe na każdą szafę.
  2. Zdecyduj, czy każdy z nich to natywna sieć 25G, natywna sieć 100G, czy linia wydzielona.
  3. Zarezerwuj porty QSFP28 dla łączy uplink typu spine.
  4. Dodaj porty zapasowe na potrzeby rozbudowy, nadmiarowości, testowania i wymiany.
  5. Oblicz ponownie nadsubskrypcję po przypisaniu wybicia, a nie przed.

Policz porty-serwera

Dla każdej szafy określ liczbę serwerów, szybkość kart sieciowych, karty sieciowe na serwer, pojedynczą- lub podwójną-domówkę oraz wymagane części zamienne. Szafa złożona z 48 serwerów z jedną kartą sieciową 25G każdy wymaga 48 portów hosta. Podwój-połączenie tych serwerów z parą liści, a liczba portów dostępowych w tej parze podwoi się.

Zarezerwuj porty łącza zwrotnego i obserwuj-podwójne liczenie

Po portach hosta zarezerwuj porty QSFP28 dla kręgosłupa. Tutaj kryje się najczęstszy błąd: jeśli te same porty QSFP28 zostaną użyte do breakoutu 4x25G, nie będą one już dostępne jako łącza nadrzędne. Największym pojedynczym błędem w planowaniu nie jest błędne zliczenie łączy nadrzędnych 100G, ale przeszacowanie portów łącza zwrotnego pozostałych po tym, jak wżarła się w nie przerwa. Przypisz wybicie przed obliczeniem nadsubskrypcji, w przeciwnym razie obliczony stosunek jest fikcją.

Sprawdzony przykład pomaga. Weź typową płytę 1U z 48 portami hosta SFP28 i 8 portami QSFP28:

Grupa portowa Rola Pojemność
48x25G (SFP28) Dostęp do pojedynczego-serwera macierzystego 1,200G
6x100G (QSFP28) Linki zwrotne kręgosłupa 600G
2x100G (QSFP28) Zarezerwowane: wzrost, przechowywanie lub zapas -

Dzięki sześciu łączom nadrzędnym obsługującym ruch dostępowy o przepustowości 1200 G, liść działa w stosunku 2:1, a dwa porty QSFP28 pozostają w rezerwie. Zanim zmienisz rozmiar czegokolwiek innego, nadaj każdemu portowi pojedynczą, wyraźną rolę w arkuszu kalkulacyjnym.

Zostaw wolne moce produkcyjne

Nie spożywaj każdego porto pierwszego dnia. Zarezerwuj miejsce na nowe serwery, dodatkowe serwery, tymczasowe łącza testowe, nieudane-wymiany portów, monitorowanie podsłuchów i migrację. Niewielka niewykorzystana pojemność jest znacznie tańsza niż przeprojektowanie.

Krok 3 - Oblicz nadsubskrypcję, uwzględniając N-1

Nadsubskrypcja porównuje całkowitą przepustowość serwera-w liściu z całkowitą przepustowością łącza zwrotnego do rdzenia:

Współczynnik nadsubskrypcji=całkowita przepustowość łącza pobierającego / całkowita przepustowość łącza wysyłającego

Dla liścia powyżej 48 x 25 G=1, 200 G w dół i 6 x 100 G=600 G w górę, co daje 1200 / 600=2:1. Oznacza to dwukrotnie większą teoretyczną przepustowość dostępu niż przepustowość łącza zwrotnego -, która zwykle wystarcza do ogólnych obliczeń, gdzie rzadko wszystkie serwery transmitują z szybkością łącza na raz, ale stanowi to prawdziwe ograniczenie w przypadku pamięci masowej, sztucznej inteligencji, HPC i RDMA.

Zawsze sprawdzaj przypadek N-1

Tkanina może wyglądać zdrowo podczas normalnej pracy i dławić się w przypadku awarii. Rozważmy liść z ośmioma łączami nadrzędnymi 100G rozmieszczonymi równomiernie na czterech grzbietach - po dwa na każdy grzbiet, łącznie 800G, więc 1200G dostępu daje stosunek 1,5:1. Stracisz jeden kręgosłup, a liść zrzuci dwa łącza zwrotne do 600G, zwiększając stosunek do 2:1 na czas przerwy. Jeśli Twój cel „nie jest gorszy niż 2:1 nawet w przypadku niepowodzenia”, musisz zacząć od stosunku 1,5:1. Oblicz zarówno stosunek normalny, jak i stosunek N-1 po utracie jednego kręgosłupa lub łącza zwrotnego; druga liczba to ta, która gryzie podczas konserwacji.

100G spine-leaf oversubscription planning example

Planowanie zakresów według obciążenia pracą

Nie ma uniwersalnego współczynnika, dlatego traktuj poniższe wartości jako zakresy planowania, a nie standardy i sprawdzaj w oparciu o zmierzony ruch, jeśli to możliwe:

Obciążenie pracą Kierunek projektowania
AI/HPC/RDMA 1:1 lub prawie brak-blokowania
Rozproszona pamięć masowa 1:1 do 2:1
Ogólna wirtualizacja 2:1 do 3:1
Warstwy sieci/aplikacji 3:1 lub wyższy, jeśli ruch jest przewidywalny
Wersja deweloperska/testowa Akceptowalne-współczynniki zoptymalizowane pod względem kosztów

Podczas aktualizacji sprawdź bieżące wykorzystanie łącza wysyłającego, wzorce-w godzinach szczytu i zachodu, przepływy w pamięci masowej i okna tworzenia kopii zapasowych, zanim zatwierdzisz współczynnik.

Krok 4 - Wybierz optykę i kable QSFP28

Interfejsy QSFP28 100G są standaryzowane przez IEEE 802.3 -Poprawka 802.3bmdodano 100GBASE-SR4 wraz z jednomodowym LR4 PHY. Wybierz optykę według odległości, typu światłowodu, złącza, mocy i kompatybilności przełącznika i nie wybieraj domyślnego najdłuższego zasięgu: zasięg, którego nie potrzebujesz, zwykle oznacza koszt i moc, których nie potrzebujesz. Dopasuj moduł do przebiegu z rozsądnym marginesem.

QSFP28 optics and cable options for 100G networks

DAC i AOC dla krótkich łączy serwerowych

W przypadku połączeń w-szafie lub w-sąsiadującej szafie praktyczne są kable QSFP28-z bezpośrednim mocowaniem miedzianym (DAC) i aktywnymi kablami optycznymi (AOC). Pasywny przetwornik cyfrowo-analogowy zapewnia najkrótsze przeskoki - na kilka metrów - przy najniższym koszcie i mocy, podczas gdy AOC zwiększa zasięg, jest lżejszy i bardziej elastyczny tam, gdzie problem stanowi duża ilość miedzi. W przypadku dostępu 25G powszechny jest wyłącznik DAC lub AOC QSFP28-4x SFP28, jeśli przełącznik obsługuje przerwanie.

100GBASE-SR4 dla krótkich wielomodowych łączy wysyłających

SR4 przenosi ponad 100Gosiem włókien równoległych wielomodowychprzy użyciu złącza MPO/MTP, co sprawia, że ​​jest to-opłacalny wybór w przypadku krótkich liści-do-grzbietu w rzędzie. Jego zasięg zależy od gatunku włókna - około 70 m w przypadku OM3 i 100 m w przypadku OM4 -, dlatego warto wiedzieć, jakiego zasięgu można się spodziewaćŚwiatłowód wielomodowy OM3, OM4 i OM5na twojej podłodze. Głównym ograniczeniem w planowaniu jest okablowanie równoległe: połączenie MPO i polaryzacja muszą zostać ustalone z wyprzedzeniem.

CWDM4 lub FR w trybie jedno-działa na dystansie około 2 km

W przypadku połączeń między-rzędami,-pomieszczeniami lub{2}}między halami lepiej sprawdzają się optyki jednomodowe, takie jak CWDM4 lub FR. The100G CWDM4 MSAdefiniuje zasięg 2 km na pojedynczej parze włókien-jednomodowych ze złączem dupleksowym LC i FEC. Ponieważ zamiast równoległego MPO wykorzystują światłowód dupleksowy, optyka CWDM4 i FR często wpada do instalacji jednomodowej-bardziej czysto niż SR4 -, a na tych dystansach wybór pomiędzyŚwiatłowód jednomodowy OS1 i OS2zaczyna mieć znaczenie dla budżetu strat. Krótsze warianty jedno-trybowe, takie jak DR, obejmują około 500 m tam, gdzie to wszystko, czego potrzebujesz.

100GBASE-LR4 dla kampusu i DCI

LR4 to opcja-o dużym zasięgu, przenosząca obciążenie 100Gdo około 10 km przez dwumodowe światłowód-modowydla kampusu, budynków-do-budynków lub-centrów danych-połączeń wzajemnych. Używaj go tylko wtedy, gdy naprawdę wymaga tego odległość; Optyka o długim-zasięgu i krótkich przeskokach wewnątrz-danych-po prostu zwiększa koszty, moc i ciepło bez ulepszania struktury.

QSFP28 100Porównanie optyki G

W tabeli podsumowano, gdzie pasuje każda opcja. Traktuj zasięgi jako typowe dane planistyczne i potwierdź dokładne liczby, gatunek włókna i wymagania FEC w arkuszu danych każdego modułu.

Opcja Media / włókno Złącze Typowy zasięg Gdzie to pasuje
QSFP28 DAC (miedź pasywna) Miedź Twinax Zintegrowany ~1–3 m W-serwerze stelażowym lub od liścia-do-liście
QSFP28 AOC Wielomodowy (zintegrowany) Zintegrowany ~do 30 m Sąsiednie-serwery rackowe, krótkie łącza
100GBASE-SR4 Równoległy wielomodowy, 8 włókien (OM3/OM4) MPO/MTP ~70 m OM3 / 100 m OM4 Krótkie w-rzędzie liści-do-grzbietu
100G CWDM4 Dwustronny tryb pojedynczy- LC do ~2 km Łącza nadrzędne między-rzędami/między-halami
100GBASE-FR/DR Dwustronny tryb pojedynczy- LC ~500 m (DR) do ~2 km (FR) Średnio działający tryb pojedynczy-
100GBASE-LR4 Dwustronny tryb pojedynczy- LC do ~10km Kampus / budynek-do-budynku / DCI

Sprawdzone przykłady: małe, średnie i duże tkaniny

Są to uproszczone modele planowania, a nie plany. Liczba grzbietów jest zwykle wybierana w celu równomiernego podziału łączy wysyłających i ustawienia szerokości ECMP: dwa grzbiety to praktyczne minimum dla redundancji, cztery zapewniają lepszą ziarnistość N-1 i lepsze rozłożenie obciążenia, a osiem pasuje do dużych tkanin. Liczba liści skaluje się wraz z potrzebnymi portami serwera.

Mała tkanina

  • 8 przełączników liściowych
  • 2 przełączniki kręgosłupa
  • 48 portów serwera 25G na liść
  • 4 łącza nadrzędne 100 G na liść
  • 384 pojedyncze-porty serwerów 25G

Na liść: 1200 G w dół, 400 G w górę, czyli 3:1. Wykonalne w przypadku ogólnych obliczeń, ale ciasne w przypadku intensywnego przechowywania lub sztucznej inteligencji. Dodaj łącza zwrotne lub przycinaj dostęp na liść, jeśli potrzebujesz niższego współczynnika.

Średni materiał

  • 16 przełączników liściowych
  • 4 przełączniki kręgosłupa
  • 48 portów serwera 25G na liść
  • 6 łączy nadrzędnych 100G na liść
  • 768 pojedynczych-portów serwerów 25G

Na liść: 1200 G w dół, 600 G w górę, czyli 2:1. Solidna równowaga między wirtualizacją i obciążeniami korporacyjnymi oraz cztery kolce rozkładają ECMP lepiej niż dwa.

Duża tkanina

  • 32 przełączniki liściowe
  • 8 przełączników kręgosłupa
  • 48 portów serwera 25G na liść
  • 8 łączy nadrzędnych 100G na liść
  • 1536 pojedynczych-portów serwerów 25G

Na liść: 1200 G w dół, 800 G w górę, czyli 1,5:1. Większy zapas łącza zwrotnego, ale więcej optyki, światłowodów, kosztów, mocy i okablowania do zarządzania. W tej skali dokumentacja jest częścią projektu: oznakowanie, mapy portów, polaryzacja, zapasowa optyka, przepływ powietrza i monitorowanie – wszystko to należy zaplanować przed instalacją.

Planowanie przerwy QSFP28 (100G do 4x25G)

Breakout jest najbardziej użyteczną i najbardziej niezrozumianą częścią projektu QSFP28. Tam, gdzie pozwala na to przełącznik, kabel i konfiguracja, jeden port QSFP28 dzieli się na cztery łącza 25G SFP28, łącząc cztery serwery 25G z jednego portu 100G. Zasługuje na swoje miejsce, gdy potrzebujesz dużej gęstości 25G, masz dużo portów QSFP28, chcesz obniżyć koszt połączenia z serwerem lub budujesz przejściową strukturę 25G/100G, używając QSFP28-do-4x SFP28 DAC, AOC lubKable rozłączające MTP/MPOw zależności od odległości.

Problem polega na tym, że przerwa zużywa porty QSFP28. Jeśli 32-portowy przełącznik QSFP28 przydzieli 16 portów do podziału 4x25G, te 16 portów obsłuży 64 serwery, ale tylko 16 portów QSFP28 pozostanie do obsługi łączy nadrzędnych, pamięci masowej, połączeń wzajemnych i części zapasowych. Ogólna zasada jest taka, że ​​najpierw należy policzyć porty rozdzielające, a następnie policzyć to, co pozostało dla łączy nadrzędnych.

Zanim zatwierdzisz, potwierdź kilka rzeczy i wcześnie zdecyduj, czy każde uruchomienie powinno byćbagażnika lub zespół wyłamujący:

  • Które porty obsługują podział i czy istnieją ograniczenia-dla grup portów?
  • Czy włączenie podziału wyłącza sąsiednie porty?
  • Czy system operacyjny przełącznika obsługuje tryb, którego potrzebujesz?
  • DAC, AOC czy optyka typu breakout dla każdego biegu?
  • Czy wszystkie cztery pasy ruchu są potrzebne teraz, czy dopiero później?
  • Jak przełom wpłynie na przyszłe przejście na natywne serwery 100G?

Zarządzanie zasilaniem, chłodzeniem i kablami

Tkanina 100G wytwarza więcej niż tylko przepustowość, - wytwarza ciepło, obciążenie przepływem powietrza i gęstość kabli. Budżet mocy powinien obejmować obudowę przełącznika i wentylatory, moduły optyczne QSFP28 (oraz przetworniki DAC lub AOC, jeśli są używane), nadmiarowe zasilacze, pojemność-na poziomie szafy oraz margines wzrostu. Chłodzenie powinno uwzględniać układ gorących- i zimnych-przepisów, spójny przepływ powietrza od przodu-do-tyłu lub od tyłu-do-przodu, panele zaślepiające, niedrożność kabli, temperaturę otoczenia i monitorowanie-temperatury modułu, ponieważ kręgosłup wypełniony optyką stanowi prawdziwe obciążenie termiczne.

Okablowanie rozwija się szybko: 16 liści do 4 kolców to już 64 połączenia między liśćmi--, z których każde musi być oznaczone, poprowadzone, przetestowane i udokumentowane. Tkanina z pełną-siatką jest znacznie łatwiejsza w budowie i konserwacji, gdy jest-zakończona fabrycznieOkablowanie magistrali MPO/MTPniż w przypadku światłowodu-zakończonego polem. Zespoły powinny również od razu ustalić konwencje dotyczące złączy i polaryzacji; thepraktyczne różnice pomiędzy MTP i MPOwarto potwierdzić przed złożeniem zamówienia. Niedbała dokumentacja nic nie kosztuje pierwszego dnia, a bardzo dużo podczas pierwszej awarii.

Projektowanie aktualizacji 400G

Zaprojektuj tkaninę z realistyczną ścieżką ulepszeń. Nie potrzebujesz 400G wszędzie od pierwszego dnia, ale powinieneś unikać wyborów, które później sprawią, że przeprowadzka będzie bolesna. Zacznij myśleć o gotowości do sieci 400G, gdy łącza nadrzędne 100G są już mocno obciążone, gdy dodanie większej liczby łączy 100G staje się niewygodne, gdy liczba ścieżek ECMP zbliża się do limitów platformy lub gdy przyspiesza rozwój sztucznej inteligencji, pamięci masowej lub obszaru wschodniego-zachodniego.

Typową strategią jest najpierw modernizacja rdzenia: pozostawia łącza nadrzędne 100G, podczas gdy kręgosłup o większej-pojemności- korzysta z portów takich jakQSFP-DD- zwiększa rezerwę, często z portami 400G dzielącymi się na 4x100G z powrotem w stronę istniejących liści. Szerszą trajektorię wyznacza branża:Plan działania Sojuszu Ethernetobecnie obsługuje sieci 400G, 800G i dalej, w dużej mierze napędzane przez sztuczną inteligencję. Oceniając przełączniki, sprawdź, czy platforma obsługuje prędkości, optykę, tryby przerwania i funkcje oprogramowania, których będzie wymagać stopniowa aktualizacja.

Kiedy kręgosłup 100G-Projekt liścia nie jest właściwym wyborem

Ten projekt nie jest uniwersalny i kilka przypadków wymaga czegoś innego. Kilka serwerów w jednej lub dwóch szafach rzadko uzasadnia kompleksową-kompilację typu „leaf”, w której para nadmiarowych przełączników jest prostsza i tańsza. Bardzo duże klastry szkoleniowe AI mogą wykraczać poza to, co dobrze radzi sobie sieć dostępowa 100G i sieć szkieletowa 100G, od początku skupiając się na sieciach szkieletowych 400G lub 800G - lub nawet dedykowanej sieci InfiniBand -. A jeśli prawie cały ruch kierowany jest na północ-południe do bramy, a nie na wschód-zachód między szafami, zalety kręgosłupa-na wschodzie-zachodzie mają mniejsze znaczenie, więc topologię należy uzasadnić względami wzrostu i operacyjnymi, a nie zakładać. Dopasuj architekturę do ruchu i skali, a nie odwrotnie.

Typowe błędy w projektowaniu liści 100G-Błędy w projektowaniu liści

  • Dwukrotne zliczenie portów QSFP28.Port to albo wyłącznik 4x25G, albo łącze nadrzędne 100G, nigdy jedno i drugie. Przydziel każdemu portowi jedną rolę.
  • Wybór optyki według maksymalnego zasięgu.Większy zasięg zwiększa koszty i moc; dopasuj optykę do rzeczywistej odległości i rodzaju światłowodu.
  • Ignorowanie N-1.Sprawdź przełożenie podczas normalnej pracy i po utracie kręgosłupa.
  • Zapominając o mocy optycznej i cieple.Grzbiet pełen modułów QSFP28 to prawdziwe obciążenie termiczne, dlatego w obliczeniach zasilania i chłodzenia należy uwzględnić optykę.
  • Traktowanie okablowania jako refleksję.Trasowanie, oznakowanie, polaryzacja i dokumentacja należą do projektu, a nie do instalacji.
  • Projektowanie tylko pod dzisiejszą prędkość serwera.Jeśli dostęp 25G zostanie przeniesiony na 100G, zostaw miejsce na natywne 100G lub kręgosłup 400G.

Często zadawane pytania

P: Jaki jest najlepszy współczynnik nadsubskrypcji dla sieci-spince 100G?

Odp.: Nie ma jednego najlepszego współczynnika. W przypadku obliczeń ogólnych często praktyczne jest 2:1 lub 3:1. W przypadku obciążeń związanych z pamięcią masową, sztuczną inteligencją, HPC lub RDMA, jeśli to możliwe, stosuj projekt 1:1 lub niższy-nadsubskrypcji i sprawdzaj zmierzony ruch.

P: Czy powinienem używać QSFP28 SR4 lub CWDM4 do połączeń liść-z-grzbietem?

Odp.: Użyj SR4 w przypadku krótkich tras wielomodowych, gdzie dostępne jest okablowanie MPO/MTP. Użyj CWDM4 lub podobnej optyki jednomodowej, gdy odległość jest większa lub gdy preferowana jest instalacja jednomodowa typu duplex LC, do około 2 km.

P: Czy QSFP28 może rozbić się na 4x25G?

Odp.: Tak, wiele platform QSFP28 obsługuje rozłączanie 4x25G, ale obsługa zależy od modelu przełącznika, grupy portów, systemu operacyjnego i typu kabla. Zawsze sprawdzaj matrycę kompatybilności przełącznika przed projektowaniem uwzględniającym przerwanie.

P: Czy 100G-liść grzbietowy jest nadal tego wart, skoro istnieje 400G?

O: Tak, w przypadku większości środowisk korporacyjnych i chmurowych z dostępem do serwerów 25G lub 100G,. 400G generuje wyższe koszty, jeśli uzasadnia to przepustowość łącza nadrzędnego, ruch AI lub duża-przepustowość na wschód-zachód.

P: Ile przełączników kręgosłupa potrzebuję?

O: Co najmniej dwa w celu zapewnienia redundancji. Większe sieci często wykorzystują cztery lub więcej, aby uzyskać lepszą dystrybucję ECMP i większą przepustowość łącza zwrotnego. Właściwa liczba zależy od liczby liści, szybkości łącza zwrotnego, docelowej nadsubskrypcji i limitów platformy.

P: Jaki jest najczęstszy błąd projektowy?

Odp.: Błędne liczenie portów. Zespoły najpierw planują łącza nadrzędne, a później odkrywają, że kable rozłączające pochłonęły porty QSFP28, których miały używać w rdzeniu. Przypisz porty rozdzielające przed sfinalizowaniem przepustowości łącza zwrotnego.

Wniosek

Dobry projekt-liścia kręgosłupa 100G to suma decyzji podjętych przed dostawą sprzętu: zdefiniuj obciążenie, poprawnie policz porty, oblicz nadsubskrypcję zarówno w warunkach normalnych, jak i awaryjnych, dobierz optykę na podstawie odległości, celowo zaplanuj podział, budżet na zasilanie i chłodzenie oraz zostaw miejsce na 400G. W przypadku większości korporacyjnych centrów danych dostęp 25G z łączami nadrzędnymi 100G QSFP28 zapewnia silną równowagę wydajności, kosztów i skali, podczas gdy pamięć masowa, sztuczna inteligencja i HPC wymagają po prostu niższej nadsubskrypcji i dokładniejszej weryfikacji. Niezawodne podejście się nie zmienia: projektuj od serwera na zewnątrz, sprawdzaj obliczenia w warunkach normalnych i N-1 oraz dokumentuj każde łącze przed wdrożeniem.

Wyślij zapytanie