InfiniBand kontra RoCE dla sieci wnioskowania AI

WybieraćInfiniBandkiedy obciążenie wnioskowaniem przetrwa lub zginie w wyniku przewidywalnego opóźnienia końcowego, i wybierzRoCE(RDMA przez konwergentny Ethernet), jeśli chcesz uzyskać wydajność klasy RDMA-w sieci Ethernet, możesz skalować, udostępniać i współpracować z zespołem, który już masz. Żadna opcja nie wygrywa wszędzie. Właściwa decyzja zależy od Twojego wzorca wnioskowania, docelowych opóźnień p99 i p999, skali procesora graficznego, budżetu i tego, ile wiedzy w zakresie bezstratnego-dostrajania sieci Ethernet faktycznie posiada Twój zespół.

Dlaczego sieć ma większe znaczenie, niż oczekują zespoły wnioskowania

Przez lata wnioskowanie było traktowane jako łatwa połowa historii GPU: model ładowany w jednym węźle, żądania obsługiwane niezależnie, bardzo mały ruch ze wschodu-zachodu. To zdjęcie jest już nieaktualne. Nowoczesne wnioskowanie jest coraz bardziej rozproszone, a kilka wzorów wywiera prawdziwy nacisk na tkaninę.

• Równoległość tensorowadzieli pojedynczą warstwę na procesory graficzne, więc każdy krok tokenu uruchamia wszystkie operacje-redukowania lub wszystkie-zbierania między nimi. Jest to częsty,-wrażliwy na opóźnienia ruch krzyżowy-GPU, który procesory graficzne blokują w czasie oczekiwania.
• Równoległość rurociągówprzekazuje aktywacje z jednego etapu do następnego, często między węzłami, dodając zależności między-węzłami do każdego przebiegu do przodu.
• Zdezagregowane wstępne wypełnianie i dekodowanieoddziela-intensywną obliczeniowo fazę wstępnego wypełniania od fazy dekodowania-wrażliwej na opóźnienia, a następnie przenosi między nimi pamięć podręczną KV. Te transfery są duże i gwałtowne, a każde opóźnienie objawia się bezpośrednio jako wolniejszy czas-do-pierwszego-tokenu i-opóźnienia między tokenami.
• Wyszukiwanie-generowanie rozszerzone (RAG)dodaje ruch ze wschodu-zachodu do usług wektorowych i wyszukiwania. Zwykle ma to mniejsze-krytyczne znaczenie dla opóźnienia niż operacje zbiorowe, ale nadal ładuje sieć szkieletową, szczególnie przy dużej liczbie zapytań.
• Obsługa wielu-najemcówstawia wielu modeli i użytkowników na tym samym poziomie, gdzie mikropęknięcia i hałaśliwe-efekty sąsiedztwa stają się dominującym ryzykiem.

Gdy sieć stanowi wąskie gardło, objawy są kosztowne: dłuższy czas-do-pierwszego-tokena, zawieszanie się procesorów graficznych w oczekiwaniu na dane, spadająca przepustowość w przypadku impulsów oraz niestabilne p95 i p99. A oto część, która podbija standardy: średnie opóźnienie wszystko ukrywa. Wnioskowanie o produkcji ocenia się na podstawie ogona, a nie średniej.

InfiniBand vs RoCE: Tabela podsumowująca wnioskowanie AI

Co to jest InfiniBand?

InfiniBand to specjalnie-stworzona struktura sieciowa, zaprojektowana od początku z myślą o małych opóźnieniach, dużej przepustowości i bezstratnej komunikacji. Nie jest to szybsza odmiana Ethernetu. Zawiera własne adaptery kanałów hosta, przełączniki, menedżera podsieci, ekosystem okablowania i model kontroli-przeciążeń. Jego wartością definiującą jest zachowanie deterministyczne: wiele procesorów graficznych może komunikować się przy napiętych wymaganiach czasowych, a sieć szkieletowa zachowuje się spójnie nawet wtedy, gdy ruch zbiorowy jest duży.

Nowoczesne platformy InfiniBand-zorientowane na sztuczną inteligencję poszerzają tę bazę o możliwości skierowane bezpośrednio do dużych klastrów GPU. Na przykład linia Quantum InfiniBand firmy NVIDIA dodajerouting adaptacyjny,-przetwarzanie w sieci i kontrola zatorów w oparciu o telemetrię-, które pomagają sieci szkieletowej inteligentnie rozprowadzać ruch i izolować obciążenie jednego najemcy od obciążenia innego. Podsumowując, InfiniBand sprawdza się, gdy obciążenie nie toleruje drgań lub gdy kilka węzłów GPU musi szybko i spójnie wymieniać dane.

Kompromisami są-koszty, koncentracja ekosystemu i specjalizacja operacyjna. Dedykowana struktura InfiniBand oznacza dedykowane przełączniki, adaptery, kable lub moduły optyczne, a także inżynierów, którzy mogą swobodnie zarządzać siecią InfiniBand. W przypadku organizacji, która już korzysta z dużych sieci Ethernet, połączenie oddzielnej sieci szkieletowej zwiększa złożoność zaopatrzenia, planowanie-części zamiennych i obciążenie związane z monitorowaniem.

Co to jest RoCE (RDMA przez konwergentny Ethernet)?

RoCE umożliwia RDMA, bezpośredni przepływ danych-do-pamięci przy niskim obciążeniu procesora, do sieci Ethernet. Wersja RoCEv2 stosowana w nowoczesnych centrach danych umożliwia routing w sieciach IP warstwy 3 i została ustandaryzowana przezStowarzyszenie Branżowe InfiniBand. Dzięki tej możliwości routingu RoCE naturalnie pasuje do projektów-sieci Ethernet, jednocześnie wykorzystując znane karty sieciowe, przełączniki, optykę i narzędzia monitorujące.

Problem polega na tym, że transporty RDMA korzystają z sieci niemal-bezstratnej. Upuść pakiet, a transport powróci do zachowania retransmisji, które niszczy ogon opóźnienia. Zatem RoCE wymaga, aby Ethernet znajdujący się pod nim zachowywał się jak bezstratna struktura, a to zależy w szczególności od starannej konfiguracji dwóch mechanizmów:Kontrola przepływu priorytetów (IEEE 802.1Qbb), który wstrzymuje pojedynczą klasę ruchu, aby zapobiec spadkom, orazWyraźne powiadomienie o zatorze (ECN), co wcześnie sygnalizuje przeciążenie, więc nadawcy zwalniają, zanim bufory się przepełnią. Dodaj do tego zarządzanie kolejkami, alokację buforów i mapowanie QoS, a stanie się jasne, że-wydajny RoCE nie jest zwykłym Ethernetem.

Dobrze wykonane RoCE zapewnia wystarczające opóźnienia i przepustowość dla szerokiego zakresu usług wnioskowania produkcyjnego, a wiele obciążeń wnioskowania jest mniej ściśle zsynchronizowanych niż szkolenie rozproszone, co działa na korzyść RoCE. Źle wykonane powoduje utratę pakietów, blokowanie-nagłówka-linii, rozprzestrzenianie się zatorów i niestabilne ogony, a wszystko to przekłada się bezpośrednio na gorszą jakość usług.

Opóźnienie InfiniBand vs RoCE: co jest lepsze w przypadku wnioskowania p99?

Obie struktury mogą zapewniać sieć o dużej-przepustowości i małych-opóźnieniach. Różnią się sposobem dotarcia do celu. InfiniBand jest z założenia deterministyczny, więc jitter pozostaje niski nawet przy mieszanym obciążeniu. RoCE może dopasować go do wielu obciążeń, ale wynik zależy od struktury Ethernet i tego, jak dobrze jest ona dostrojona.

Z punktu widzenia wdrożenia prawdziwym problemem w środowisku produkcyjnym rzadko jest szczytowa przepustowość. W przypadku ruchu mieszanego, intensywnego i obejmującego wielu-dzierżawców występują drgania. Tkanina RoCE, która pomyślnie przejdzie czysty test przepustowości w stylu iperf-, może w dalszym ciągu nie osiągnąć celu p99 w momencie, gdy na obraz wkroczą mikropęknięcia i rywalizacja. Ta luka między testem laboratoryjnym a produkcyjną umową SLA kryje w sobie najwięcej niespodzianek.

InfiniBand ma zwykle przewagę, gdy:

• Usługa ma ścisłe docelowe opóźnienia p99 lub p999.
• Wnioskowanie obejmuje wiele węzłów GPU z równoległością tensora lub potoku lub wykorzystuje zdezagregowane wstępne wypełnianie i dekodowanie.
• Wykorzystanie procesora graficznego jest bardzo wrażliwe na opóźnienia w sieci, więc przestoje są kosztowne.
• Klaster obsługuje niewielką liczbę zadań o-wysokim priorytecie, w przypadku których przewidywalność przewyższa elastyczność.

RoCE jest zwykle wystarczająco dobry, gdy:

• Żądania są w większości niezależne lub sprzężenie jest luźne.
• Praca przebiega w obrębie węzła lub niewielkiej liczby węzłów.
• Przepustowość zbiorcza jest ważniejsza niż-bardzo małe opóźnienia.
• Zespół obsługuje już sieć Ethernet, a priorytetem jest elastyczność w zakresie kosztów lub dostawców.
• Klaster obsługuje wielu dzierżawców lub obciążenia mieszane.

Koszt RoCE vs InfiniBand: co tak naprawdę wpływa na całkowity koszt posiadania?

RoCE jest często nazywany tańszą opcją, ale cena zmiany to niewielka część obrazu. Realistyczne porównanie uwzględnia cały stos: karty sieciowe lub karty HCA, przełączniki, moduły optyczne, przetworniki cyfrowo-analogowe, AOC i okablowanie światłowodowe, topologię szafy, zasilanie i chłodzenie, sieciowy system operacyjny, monitorowanie i telemetrię, czas prac inżynierskich, części zamienne, wsparcie dostawców i ścieżkę do 400 lub 800 G.

InfiniBand zwykle wiąże się z wyższymi kosztami początkowymi, ponieważ wymaga dedykowanej tkaniny i wyspecjalizowanych komponentów. W środowiskach, w których zachowanie deterministyczne jest najwyższym priorytetem, może to zmniejszyć wysiłek związany z dostrajaniem i rozwiązywaniem problemów, wymagany przez bezstratną strukturę Ethernet. RoCE obniża koszty sprzętu, gdy istniejącą infrastrukturę Ethernet z odpowiednią obsługą mostkowania centrów danych można ponownie wykorzystać, ale powoduje to przeniesienie wysiłku na projektowanie, sprawdzanie, monitorowanie i rozwiązywanie problemów w bezstratnej strukturze. Niedrogi-projekt RoCE szybko staje się kosztowny, jeśli powoduje niestabilne opóźnienia i powtarzające się problemy z gaszeniem pożarów.

Koszty i ryzyko koncentrują się na warstwie fizycznej w miarę wzrostu prędkości. Przy 400G i 800G optyka dominuje zarówno w rachunku, jak i trybach awarii. Większość-szybkich portów jest włączonaQSFP-DD lub porównywalne obudowyi dopasowanie do prawejoptyka jedno-modowa lub wielomodowado rzeczywistego zasięgu to jeden z najprostszych sposobów uniknięcia nadmiernych wydatków na materiał, który nie wymaga modułów-długodystansowych.

Mówiąc wprost: RoCE nie jest tańszą opcją, jeśli Twojemu zespołowi brakuje wiedzy o-stratnej sieci Ethernet. Oszczędności na sprzęcie można szybko pochłonąć kosztami inżynieryjnymi związanymi z utrzymaniem stabilności tkaniny.

Skalowalność i operacje

Skalowalność to więcej niż liczba portów. Obejmuje łatwość wdrażania, monitorowania, rozbudowy i odzyskiwania sieci szkieletowej w przypadku awarii.

InfiniBand jest mocny, gdy klaster jest od pierwszego dnia zaprojektowany jako dedykowana{0}}sfera o wysokiej wydajności. Zapewnia spójne działanie na dużą skalę, ale wymaga-specjalistycznych narzędzi InfiniBand, takich jak menedżer podsieci i ujednolicone zarządzanie siecią szkieletową, a także personelu, który zna koncepcje InfiniBand. Dzięki temu idealnie pasuje do scentralizowanych klastrów AI zbudowanych wokół obciążeń GPU.

Integracja RoCE z projektami centrów danych Ethernet: topologie liścia-, routing IP, ECMP i znane praktyki monitorowania. Właśnie dlatego odwołuje się do stylu-chmury i infrastruktury GPU z wieloma-dzierżawcami. Dyscyplina, której wymaga, to konsekwencja. PFC, ECN, QoS, zarządzanie buforami i kontrola przeciążenia muszą być zaprojektowane spójnie na całej ścieżce, ponieważ niewielka błędna konfiguracja w jednym rogu sieci może spowodować rozproszenie i pogorszenie wielu obciążeń jednocześnie. Warstwa fizyczna również musi być skalowana w sposób przejrzysty; wysoka-gęstośćOkablowanie typu trunk i breakout MPO i MTPpozwala zarządzać rosnącym-kręgosłupem, zamiast zamieniać każde rozszerzenie w łamigłówkę z okablowaniem.

Warto podkreślić-odbicie lustrzane: InfiniBand jest trudny do uzasadnienia, gdy wnioskowanie odbywa się głównie w obrębie jednego węzła, a struktura jest ledwo wykorzystywana.

Która sieć dla każdego obciążenia wnioskowania

Kiedy RoCE jest wystarczająco dobre, a kiedy staje się ryzykowne

RoCE jest wystarczająco dobre w przypadku niezależnych lub luźno powiązanych żądań,-pracy wsadowej zorientowanej na przepustowość i klastrów z wieloma-dzierżawcami, w których można dostroić izolację, zwłaszcza gdy zespół biegle posługuje się siecią Ethernet mostującą centrum danych. Staje się ryzykowne w specyficzny, rozpoznawalny sposób:

• Burze PFC.Wstrzymaj ramki propagujące upstream i blokuj ruch, który nie miał nic wspólnego z pierwotnym zatorem.
• Blokowanie-głównej-linii.Zgrubne mapowanie priorytetów pozwala jednej zatłoczonej klasie blokować inne zajęcia w kolejce.
• Błędne dostrojenie ECN.Zaznacz za późno, a otrzymasz krople; znakuj zbyt agresywnie i niepotrzebnie ograniczasz przepustowość.
• Zatory mikroburstowe.Sub-sekundowe impulsy przepełniają bufory, ale pozostają niewidoczne dla monitorowania próbek z rozdzielczością jedno-sekundową.
• Niespójna konfiguracja.Niedopasowane ustawienia na liściach i grzbietach powodują rozprzestrzenianie się zatorów, zamiast pozostać lokalnymi.

Żaden z nich nie jest powodem, aby unikać RoCE. Są to powody, dla których warto zaprojektować bezstratną tkaninę w spójny sposób od początku do końca i zainwestować w drobno-drobną-drobną telemetrię obsługującą mikroburst przed skalowaniem.

Kiedy InfiniBand jest tego wart i kiedy kupujesz za dużo

InfiniBand jest warty swojej ceny, jeśli chodzi o rygorystyczne cele p99 i p999, ściśle powiązaną obsługę wielu-węzłów i obciążenia o znaczeniu krytycznym{{3}, w przypadku których kary za umowę SLA są wysokie, zwłaszcza w przypadku dedykowanego klastra GPU zaprojektowanego w oparciu o strukturę. Prawdopodobnie dokonujesz nadmiernych zakupów, gdy wnioskowanie pozostaje w węźle, gdy praca jest zorientowana na przepustowość-wsadowo, gdy potrzebujesz tej samej struktury do obsługi pamięci masowej, zarządzania i ruchu w chmurze dla wielu-użytkowników, lub gdy po prostu brakuje Ci wydajności operacyjnej, aby dobrze uruchomić InfiniBand.

Koszty, które nie są uwzględnione w wycenie przełącznika, są rzeczywiste: koncentracja ekosystemu, obciążenie związane z uruchomieniem drugiej struktury równolegle z siecią Ethernet oraz oddzielne planowanie części zamiennych, optyki i monitorowania.

Jak przetestować InfiniBand i RoCE przed wyborem

Nie decyduj o reputacji protokołu lub karcie specyfikacji. Zdecyduj się na benchmark przypominający produkcję. Praktyczna sekwencja:

• Zdefiniuj SLA w ogonach.Ustaw p50, p95, p99 i p999 dla czasu-do-pierwszego-tokenu i opóźnienia między-tokenami, a nie tylko jako średnią.
• Odtwórz realistyczny ruch.Zamiast pojedynczego czystego strumienia korzystaj z modeli o różnych rozmiarach i współbieżności-z wieloma dzierżawcami.
• Załaduj do zatorów.Popchnij tkaninę, aż będzie naprawdę walczyła, a następnie zmierz wykorzystanie procesora graficznego. Jeśli procesory graficzne przestają działać w sieci, wąskim gardłem jest tkanina.
• Obserwuj właściwe liczniki.Śledź ramki pauzy, znaczniki ECN, utracone pakiety, retransmisje, liczniki błędów portów oraz, przy 400G i 800G, błędy FEC.
• Sprawdź warstwę fizyczną.Czyste, prawidłowo zainstalowane włókna;ostrożna instalacja światłowoduzapobiega sporadycznym, trudnym-zdiagnozowaniu-błędom, na które podatne są-szybkie łącza.

Jeśli RoCE utrzyma docelowy poziom p99 przy realistycznym, konkurencyjnym obciążeniu-wielu dzierżawców i stabilnych licznikach, jest to mocny i-opłacalny wybór. Jeśli pomyślnie przejdzie tylko testy pojedynczego-strumienia, oznacza to, że nie przetestowałeś jeszcze elementu decydującego o umowie SLA.

Typowe błędy, których należy unikać

• Zakładając, że całe wnioskowanie to lekka sieć.Niektóre wnioski są proste i niezależne; niektóre są rozproszone,-wrażliwe na opóźnienia i-wymagające dużej przepustowości. Traktowanie wszystkiego jako łatwego prowadzi do niedostatecznej infrastruktury.
• Porównywanie tylko średniego opóźnienia.Wnioskowanie o produkcji zależy od ogona. Zawsze oceniaj p95, p99 i p999 w realistycznym ruchu.
• Traktowanie RoCE jako Ethernetu typu plug-and{1}}play.Wysoka-wydajność RoCE wymaga celowego-bezstratnego projektowania sieci, kontroli zatorów i ciągłej obserwowalności.
• Wybieramy InfiniBand tylko dlatego, że jest szybszy.Najlepsza opcja wydajnościowa nie zawsze jest najlepszą opcją biznesową. Jeśli obciążenie nie wymaga deterministycznego zachowania, RoCE może zapewnić lepszą wartość.
• Ignorowanie warstwy fizycznej.Przy prędkościach 400 G i 800 G kable, elementy optyczne, złącza i czystość włókien powodują sporadyczne błędy, które są trudne do znalezienia i kosztowne do naprawienia.

Dolna linia

W przypadku wnioskowania AI zarówno InfiniBand, jak i RoCE są prawidłowe i mają różne priorytety. Wybierz InfiniBand, jeśli potrzebujesz najbardziej spójnej sieci o niskim-opóźnieniu do wnioskowania w czasie rzeczywistym-z uwzględnieniem umowy SLA-lub ściśle powiązanego. Wybierz RoCE, jeśli potrzebujesz skalowalnej,-opartej na sieci Ethernet, ekonomicznej-struktury do wnioskowania wsadowego, usług GPU dla wielu-dzierżawców, obciążeń RAG i elastycznej infrastruktury.

Decyzję należy rozpocząć od obciążenia, docelowego opóźnienia, skali klastra, możliwości operacyjnych i planu aktualizacji, a nie od protokołu. Jeśli Twój klaster musi utrzymywać ścisłe p99 przy dużym obciążeniu, InfiniBand zasługuje na poważne rozważenie. Jeśli Twoim celem jest ekonomiczne skalowanie wnioskowania w centrum danych Ethernet, RoCE jest zwykle bardziej praktyczną ścieżką. Tak czy inaczej, zanim zatwierdzisz, przeprowadź test porównawczy w ramach produkcji,-np. obciążenia.