Karta sieciowa 400G vs 800G: którą wybrać?

Wybór pomiędzy kartą sieciową 400G a kartą sieciową 800G to decyzja dotycząca struktury, a nie porównywania-stron kasy. Szybszy adapter opłaca się tylko wtedy, gdy serwer, przełącznik, optyka i okablowanie mogą zapewnić tę prędkość od końca do końca. W tym przewodniku omówiono kompromis-z punktu widzenia wdrożenia i zaopatrzenia, dzięki czemu możesz podjąć decyzję przed przeznaczeniem budżetu na adaptery, przełączniki, transceivery, przetworniki DAC, AOC, AEC lub światłowód.

Krótka wersja: karta sieciowa 400 G to dojrzała,-ekonomiczna opcja domyślna dla większości współczesnych obciążeń związanych ze sztuczną inteligencją, HPC, pamięcią masową i chmurą, która umożliwia łatwe mapowanie na hostach NDR InfiniBand i PCIe Gen5. Karta sieciowa 800G zyskuje na wartości, gdy budujesz infrastrukturę AI nowej-generacji z gęstszymi procesorami graficznymi, większym ruchem na wschodzie-zachodzie i planem działania w kierunku XDR InfiniBand, 800G Ethernet i docelowo 1,6T.

Karta sieciowa 400G vs 800G

Wybierz kartę sieciową 400G, jeśli Twoje serwery, przełączniki i instalacje optyczne są już ustandaryzowane w oparciu o 400G Ethernet lub NDR InfiniBand lub gdy obciążenie nie obciąża wszystkich ścieżek-do-GPU GPU. Jest to również bezpieczniejsze połączenie, gdy dostępność, budżet i czas kwalifikacji są ważniejsze niż maksymalna prędkość portu.

Wybierz kartę sieciową 800G, gdy sieć staje się wąskim gardłem dla-szkoleń na dużą skalę,-serwerów GPU o dużej gęstości lub akceleratorów nowej-generacji. Zmniejsza mniej więcej o połowę liczbę łączy i modułów optycznych potrzebnych dla danej przepustowości i przygotowuje strukturę do następnej aktualizacji.

Port 800G warto kupić tylko wtedy, gdy reszta systemu może go zasilić. Jeśli host nie może udostępnić adapterowi wystarczającej liczby linii PCIe, karta sieciowa 800G staje się kosztownym i niedostatecznie używanym portem, a nie zwiększa wydajności.

Co to jest karta sieciowa 400G?

Karta sieciowa 400G to karta sieciowa, która może przesyłać dane z szybkością do 400 gigabitów na sekundę na port. W środowiskach AI i HPC obsługuje sieci-klastrów GPU, rozproszone szkolenia, dostęp do pamięci masowej, ruch MPI, sieci RoCE i łącza NDR InfiniBand. Dla większości operatorów 400G to już duży skok w stosunku do 100G lub 200G i usuwa oczywiste wąskie gardła bez wymuszania przeprojektowania warstw serwerów i przełączników.

Gdzie dzisiaj pasują karty sieciowe 400G

Adaptery 400G są domyślnym działaniem w klastrach szkoleniowych AI na procesorach graficznych obecnej-generacji, HPC i naukowych-strukturach obliczeniowych,-wysokowydajnych sieciach pamięci masowej, sieciach RoCEv2 Ethernet i InfiniBand, ogólnych flotach serwerów w chmurze oraz aktualizacjach z 100G/200G-do-400G w pokojach mieszanej generacji. Przy tych ustawieniach 400G rzadko kiedy jest kompromisem. Jest to po prostu właściwa klasa szybkości, gdy rozmiar klastra, liczba procesorów graficznych i budżet nie uzasadniają dodatkowej złożoności 800G.

Dlaczego 400G nadal ma sens

Wybór karty sieciowej to problem-zrównoważenia systemu. Jeśli host nie może obsłużyć adaptera 800G, jeśli obciążenie jest związane z obliczeniami- lub pamięcią-lub jeśli kręgosłup nadal wynosi 400G, wówczas rezygnacja z kart sieciowych 800G podnosi koszty bez wpływu na wydajność aplikacji. Dobrze-zbudowana sieć 400G z niskim poziomem nadsubskrypcji, czystą topologią, RDMA, wysokiej jakości optyką i dostrojoną kontrolą przeciążenia nadal wygodnie radzi sobie z wymagającymi zadaniami AI i HPC.

Co to jest karta sieciowa 800G?

Karta sieciowa 800G zapewnia do 800 gigabitów na sekundę na port. Jest przeznaczony dla centrów danych-AI nowej generacji, dużych klastrów procesorów graficznych i hiperskalowych sieci szkieletowych, w których zapotrzebowanie na komunikację przewyższa konwencjonalne sieci serwerów. Generacja 800G jest teraz ujednolicona:standard IEEE 802.3df, ratyfikowany w 2024 roku, definiuje 800 Gigabit Ethernet i obsługuje-podrzędne szybkości, takie jak 1x800G, 2x400G i 8x100G, co sprawia, że ​​migracja z mieszaną-szybkością jest praktyczna.

Wartością jest nie tylko podwojona stawka nagłówkowa.. 800G pozwala architektom zwiększyć gęstość przepustowości, zmniejszyć liczbę łączy i modułów oraz obsługiwać większe sieci szkoleniowe z bardziej agresywnym ruchem typu „wszystko-do-wszystkich.

Dlaczego klastry AI przechodzą na 800G

Trenowanie dużych-modeli generuje ogromny ruch GPU-do-GPU i serwer-do-serwera. Wymiana gradientów, wszystkie-redukcje, mieszanka-specjalistycznych tras, punktów kontrolnych i ciężkich rurociągów-do przechowywania danych – wszystko to uderza w strukturę. W miarę jak akceleratory stają się coraz szybsze, sieć musi dotrzymać kroku, w przeciwnym razie drogie procesory graficzne pozostają bezczynne, czekając na synchronizację.. 800Karty sieciowe G odpowiadają na ten problem, zwiększając przepustowość na węzeł, na akcelerator lub na szynę sieciową.

800G to decyzja dotycząca tkaniny, a nie tylko adapter

Przejście na 800G zmienia wybór przełączników, optykę, planowanie zasięgu, projekt termiczny, przepływ powietrza i układ szafy. W szczególności wybór opcji optycznych i miedzianych staje się coraz bardziej rygorystyczny: port 800G może wykorzystywać moduł OSFP lub QSFP-DD, a moduły-po stronie przełącznika i karty sieciowej-mogą różnić się konstrukcją termiczną i mechaniczną nawet przy tej samej szybkości. Jeśli w Twoim zakładzie wykorzystuje się włókno strukturalne, należy wcześniej potwierdzić typ modułu i złącza; naszprzegląd formatu QSFP-DDobejmuje miejsca, w których pasuje w stosunku do OSFP. Traktuj 800G jako program-na poziomie sieci szkieletowej, a nie wymianę-pojedynczego elementu wiersza.

Karta sieciowa 400G a karta sieciowa 800G

Kiedy wybrać kartę sieciową 400G

Wybierz kartę sieciową 400G, jeśli celem jest-sieć o wysokiej wydajności z dojrzałym sprzętem, przewidywalnym wdrożeniem i kontrolowanymi kosztami.

Budujesz w oparciu o istniejącą infrastrukturę 400G

Jeśli Twoje przełączniki, kable, układ optyczny i platformy serwerowe są już ujednolicone w standardzie 400G, pozostanie przy kartach sieciowych 400G eliminuje serię kontroli zgodności i umożliwia ponowne wykorzystanie większości obecnego ekosystemu. Jest to szczególnie prawdziwe w przypadku aktualizacji z 100G lub 200G, gdzie wzrost wydajności jest duży, a ekosystem jest znacznie bardziej dojrzały niż 800G.

Twoje obciążenie sztuczną inteligencją nie obciąża tkaniny

Nie każde zadanie AI wymaga 800 Gb na serwer. Wiele z nich jest ograniczonych-mocą obliczeniową, pamięcią-, pamięcią-lub jest ograniczona wydajnością oprogramowania, a nie przepustowością sieci. Jeśli profilowanie wykaże, że sieć nie jest głównym wąskim gardłem, karta sieciowa 400G zwykle zapewnia lepszy zwrot.

Potrzebujesz-efektywnego HPC

Wiele obciążeń HPC jest wrażliwych na opóźnienia,-przekazywanie komunikatów i przeciążenia sieci szkieletowej, a nie na samą przepustowość. Dobrze-dostrojona tkanina 400G często pokonuje słabo zintegrowaną technologię 800G. Przydatnym pytaniem nie jest to, która karta sieciowa jest szybsza, ale który projekt sieci zapewnia najlepszą wydajność aplikacji w przeliczeniu na dolara.

Potrzebujesz szybszych zakupów przy mniejszym-ryzyku

Adaptery, elementy optyczne i kable 400G można łatwiej pozyskać i zakwalifikować na większej liczbie platform serwerów i przełączników. Kiedy zespół ma ograniczony czas na weryfikację, wybór 400G jest rozwiązaniem o niższym-ryzyku, który nadal usuwa większość wąskich gardeł.

Kiedy wybrać kartę sieciową 800G?

Wybierz kartę sieciową 800G, jeśli aplikacja, platforma GPU i sieć szkieletowa mogą faktycznie wykorzystać dodatkową przepustowość.

Projektujesz strukturę szkoleniową AI nowej-generacji

Duże klastry szkoleniowe generują intensywną komunikację „wszyscy-do-wszystkich i ze wschodu-zachodu. W miarę wzrostu rozmiaru modelu, liczby procesorów graficznych i równoległości sieć staje się ogranicznikiem. W tym przypadku karty sieciowe 800G zwiększają przepustowość-na węzeł i zmniejszają ryzyko dławienia procesorów graficznych przez sieć szkieletową.

Potrzebujesz większej gęstości pasma

800G zmniejsza liczbę portów, łączy i modułów potrzebnych do zapewnienia określonej przepustowości. Ma to znaczenie w gęstych klastrach, w których przestrzeń w szafie,-liczba portów na panelu przednim, zarządzanie kablami i średnica przełącznika są ograniczone. Mniejsza liczba szybszych łączy może uprościć budowę, pod warunkiem, że struktura przełącznika i plan okablowania są do tego zaprojektowane.

Planujesz platformy GPU nowej-generacji

Jeśli plan działania obejmuje serwery GPU nowej-generacji, większą gęstość mocy w szafie, chłodzenie cieczą i większe klastry, 800G jest silniejszym wyborem strategicznym. Kupno 400G dzisiaj może być nadal rozsądne, ale materiał powinien być zaprojektowany ze ścieżką migracji do 800G lub więcej.

Chcesz ograniczyć-długoterminowe przerwy w uaktualnianiu

Etapowa strategia 800G zmniejsza przyszłe problemy związane z migracją. Najpierw wdróż przełączniki obsługujące technologię 800G-, podłącz istniejące karty sieciowe 400G w ramach projektów typu breakout lub mieszanych-prędkości, a następnie zmodernizuj serwery do 800G później. Chroni to bieżącą inwestycję podczas przygotowywania tkaniny dla następnej generacji.

Kiedy NIE wybierać karty sieciowej 800G

Jest to często bardziej przydatne pytanie, które pozwala odfiltrować najbardziej żałowane zakupy. Wstrzymaj się z 800G, jeśli spełniony jest którykolwiek z poniższych warunków:

• Host nie może udostępnić adapterowi pełnej ścieżki x16 klasy PCIe Gen6. Port będzie działał z niedoborem, a Ty zapłacisz za przepustowość, której magistrala serwera nie będzie w stanie zapewnić.
• Kręgosłup jest przesubskrybowany lub nadal 400G. Szybsza karta sieciowa nie naprawia ograniczonej sieci; po prostu przesuwa wąskie gardło o jeden przeskok dalej.
• Obciążenie jest związane z opóźnieniem- lub MPI-a nie przepustowością-. Dodatkowa przepustowość niewiele daje w przypadku zadań bramkowanych przez synchronizację lub zachowanie małych-wiadomości.
• Optyki, okablowania ani chłodzenia dla 800G nie można pozyskać ani sprawdzić na osi czasu. Niekwalifikowany moduł, który trzeszczy pod obciążeniem, jest gorszy niż wolniejsze łącze, które pozostaje nienaruszone.
• Obecnie nie ma konkretnego planu rozwoju, który uzasadniałby taką premię.

Jeśli dwa lub więcej z nich ma zastosowanie, 400G jest prawie na pewno właściwą odpowiedzią dla tej wersji, przy czym 800G jest utrzymywane w rezerwie na następne odświeżenie.

Karta sieciowa 400G vs 800G dla centrów danych w chmurze

Tkaniny chmurowe rzadko działają wszędzie z jedną prędkością. Segmentują według klasy ruchu, a wybór karty sieciowej zależy od segmentu, a nie centrum danych jako całości.

• Ruch z przodu-północ-południe:Szybkość 400 G jest zwykle wystarczająca w przypadku warstw-dostępnych dla użytkowników i interfejsów API, gdzie przepustowość na-przepływ jest niewielka i dominuje liczba połączeń.
• Pamięć masowa i ruch wschodni-zachodni:odpowiedź zależy od stopnia zdezagregowania architektury.. 400G obejmuje większość ogólnych pul; Sieć 800G pomaga tam, gdzie duże, rozproszone dyski obsługują obciążenie ze wschodu-zachodu.
• Wnioskowanie AI:400G jest wystarczające dla wielu chmur wnioskowania, podczas gdy 800G jest odpowiednie dla gęstej mieszanki-routowania-ekspertów lub zdezagregowanej obsługi, w przypadku której tokeny przemieszczają się przez wiele węzłów.
• Struktura dla wielu-najemców:w tym przypadku współczynnik nadsubskrypcji i izolacja najemców kształtują wydajność znacznie większą niż szczytowa stawka karty sieciowej. Zrównoważona tkanina 400G z silną izolacją często pokonuje szybszą, ale przeciążoną tkaninę.

Ponieważ chmura na wschodzie-zachodzie opiera się na światłowodach strukturalnych, należy zaplanować okablowanie magistrali obok karty sieciowej; naszprzewodnik po okablowaniu magistrali MPO/MTPobejmuje przebiegi o dużej-gęstości. Ogólnie rzecz biorąc, używaj 400 G dla większości-frontowych i ogólnych warstw chmur i rezerwuj 800 G dla segmentów, w których dominują gęste usługi AI lub duże pule na wschodzie-zachodzie.

Kluczowe czynniki wyboru wykraczające poza prędkość portu

Szybsza karta sieciowa nie gwarantuje szybszych obciążeń, chyba że obsługuje ją cała platforma. Pięć czynników decyduje o tym, czy port 800G dostarcza dane, czy pozostaje bezczynny.

Generacja PCIe i przepustowość hosta

Karta sieciowa łączy się z hostem poprzez PCIe, a to łącze stanowi twardy sufit. Port 400 Gb/s potrzebuje około 50 GB/s w każdym kierunku, co może przenieść gniazdo PCIe Gen5 x16 przy około 63 GB/s użytecznej w każdym kierunku. Port 800 Gb/s potrzebuje około 100 GB/s na kierunek, poza gniazdem Gen5 x16 i dlatego zazwyczaj adaptery 800G oczekująspecyfikacja PCIe 6.0 firmy PCI-SIG(64 GT/s, do 256 GB/s dwukierunkowo na x16) lub nietypowa konstrukcja x32. Zanim zdecydujesz się na 800G, potwierdź:

• Generacja PCIe
• Liczba pasów i okablowanie gniazd
• Umiejscowienie NUMA i ścieżka karty graficznej-do-karty sieciowej
• Weryfikacja adaptera przez-dostawcę serwera
• Obsługa BIOS-u i oprogramowania sprzętowego

W serwerach GPU położenie karty sieciowej względem procesorów i procesorów graficznych decyduje o czystości przenoszenia danych. Karta sieciowa klasy-Gen6 wrzucona do gniazda Gen5 x8 jest najczęstszą przyczyną wąskiego gardła w terenie.

Zmień strukturę i nadsubskrypcję

Szybkość karty sieciowej musi być dostosowana do szybkości karty sieciowej.. 800Adaptery G nie działają, jeśli pakiet-liści jest przekroczony lub łącza wysyłające są cienkie. Sprawdź prędkość portu liścia i kręgosłupa, współczynnik nadsubskrypcji, liczbę szyn sieciowych, wzorzec wschód-zachód, projekt domeny-awarii i wymaganą przepustowość dwudzielną. W przypadku szkoleń niższy współczynnik nadsubskrypcji zwykle wpływa lepiej na wydajność niż szybsza karta sieciowa.

RoCE, InfiniBand i Ultra Ethernet

Struktury sztucznej inteligencji i HPC opierają się na RDMA, aby zmniejszyć obciążenie procesora, a protokół kształtuje kartę sieciową, przełącznik, kontrolę przeciążenia i operacje. Obecnie NDR InfiniBand działa z szybkością 400 Gb/s na port iXDR InfiniBand osiąga 800 Gb/s na port, co odpowiada bezpośrednio poziomom kart sieciowych 400G i 800G. Po stronie Ethernetu,

Specyfikacja Ultra Ethernet Consortium 1.0definiuje stos RDMA-przez-Ethernet obejmujący karty sieciowe, przełączniki, optykę i okablowanie, ukierunkowany bezpośrednio na skalowanie-AI i HPC.

Wybierz InfiniBand, aby uzyskać ściśle zintegrowaną strukturę HPC lub sztuczną inteligencję o małych-opóźnieniach, jeśli Twój zespół zna ten ekosystem. Wybierz Ethernet lub RoCE, aby uzyskać szerszy wybór dostawców i integrację z chmurą. Rozważ Ultra Ethernet, jeśli potrzebujesz standardowej, otwartej ścieżki dla wysokowydajnej-sieci Ethernet nowej-generacji.

Optyka, kształt i okablowanie

Przy 400G i 800G kompatybilność fizyczna jest równie ważna jak szybkość. Dwa moduły mogą mieć tę samą prędkość, ale różnić się kształtem, konstrukcją termiczną i wymaganiami hosta. Sprawdź, czy OSFP vs QSFP112 vs QSFP-DD, OSFP z płaską-górną i żebrowaną-górą żebrowaną, wymagania modułu-po stronie przełącznika i karty sieciowej-, DAC, AEC, AOC lub zasięg optyczny, obsługa breakoutów oraz kodowanie dostawcy i oprogramowanie sprzętowe. Nie zakładaj, że OSFP 800G działający w przełączniku będzie prawidłowo osadzony i chłodzony w karcie sieciowej; wiele przełączników i modułów kart sieciowych wykorzystuje różne konstrukcje termiczne i mechaniczne.

Moc, przepływ powietrza i weryfikacja termiczna

Komponenty 800G pobierają więcej energii i działają cieplej. Sprawdź kartę sieciową, optykę, porty przełącznika i ścieżkę przepływu powietrza pod stałym obciążeniem, a nie na biegu jałowym. Potwierdź moc karty sieciowej i-modułu optycznego, kierunek przepływu powietrza i wolną przestrzeń chłodzącą, maksymalną temperaturę na wlocie, gęstość kabla i blokadę przepływu powietrza oraz założenia dotyczące chłodzenia powietrzem- i cieczy-. Niestabilność termiczna objawia się klapami połączeń i rosnącą liczbą błędów – rodzajem sporadycznych usterek, których wyeliminowanie w produkcji jest powolne i kosztowne.

Typowe błędy, których należy unikać

Kupowanie 800G tylko dlatego, że jest szybsze

800G nie jest automatycznie lepsze. Jeśli obciążenie, serwer lub sieć szkieletowa nie mogą wykorzystać przepustowości, dodatkowy koszt nie przekłada się na wydajność aplikacji. Dopasuj port do wąskiego gardła, które faktycznie posiadasz.

Ignorowanie przepustowości PCIe

Karta sieciowa może przesyłać dane tylko tak szybko, jak pozwala na to magistrala hosta. Sprawdź generację PCIe, liczbę linii i topologię serwera przed wybraniem klasy szybkości, a nie po dostarczeniu sprzętu.

Wybór niewłaściwego modułu optycznego

Przy tych szybkościach współczynnik kształtu modułu i konstrukcja termiczna mają kluczowe znaczenie. Niewłaściwy wariant OSFP może nie pasować do danej klatki lub może pasować, ale przegrzewać się pod wpływem ciągłego ruchu, powodując błędy wyglądające na problem z siecią.

Zapominając o zasięgu kabla

DAC, AEC, AOC, optyka wielomodowa i optyka jednomodowa-obsługują różne zakresy odległości, a różne gatunki włókien przesyłają różne odległości; naszpodział limitów zasięgu OM1 do OM5pokazuje, gdzie kończy się każda ocena. Wybór niewłaściwego połączenia międzysieciowego zwiększa opóźnienia, koszty lub konieczność przeróbek.

Traktowanie kart sieciowych, przełączników i optyki jako oddzielnych zakupów

Zamów adapter, przełącznik, optykę i okablowanie w ramach jednego zatwierdzonego zestawienia materiałów. Niezgodność wykryta po wdrożeniu oznacza port, który łączy, ale nie działa, lub sprzęt, który należy zwrócić w trakcie-kompilacji, co jest znacznie bardziej uciążliwe niż wyłapanie go podczas kwalifikacji.

Ostateczne zalecenie

Wybierz kartę sieciową 400G, aby uzyskać sprawdzoną,-ekonomiczną kartę, która pasuje do współczesnych rozwiązań AI, HPC, pamięci masowej i chmur. Jest to praktyczny wybór w przypadku większości istniejących klastrów procesorów graficznych i pomieszczeń-generacji mieszanej. Wybierz kartę sieciową 800G, gdy gęstość przepustowości,-komunikacja z procesorem graficznym na dużą skalę i gotowość do aktualizacji przewyższają początkowe koszty i gdy cała ścieżka jest zbudowana pod to.

Decyzja nigdy nie opiera się wyłącznie na prędkości. Od tego zależy, czy Twoje serwery, przełączniki, optyka, okablowanie, zasilanie i chłodzenie będą w stanie przełożyć tę prędkość na wydajność aplikacji. Dyscyplina chroniąca budżet jest prosta: przed złożeniem zamówienia sprawdź kartę sieciową, przełącznik, optykę i okablowanie jako jeden system.