Intel dołącza do wyścigu o dominację na rynku rozwiązań AI. Ostatnio firma opublikowała, zaktualizowane testy porównawcze MLPerf swoich akceleratorów Gaudi2. Według nowych danych akceleratory AI Gaudiego wydają się realną alternatywą dla procesorów graficznych NVIDIA H100. Jednak czy jest to możliwe i czemu wszystkie największe firmy z branży IT skupiają się na rozwiązaniach wokoło sztucznej Inteligencji?
Ryenk AI wart coraz więcej
Nie jednokrotnie powtarzaliśmy, że branża związana z rozwojem sztucznej inteligencji przoduje na rynku pod względem generowania zysków. Potwierdzenie dostarczył nam ostatnio Gartner, amerykańska firma analityczna, która ujawniła w ostatnim swoim raporcie, że wartość branży sztucznej inteligencji w 2023 r. osiągnie wartość 53,4 miliarda dolarów. Mówimy zatem o wzroście o 20,9% w porównaniu do roku poprzedniego. Co więcej, Gartner przewiduje, że do 2027 r. branża skupiona wokoło rozwiązań sztucznej inteligencji może osiągnąć poziom 120 miliardów dolarów. Nie ma zatem co się dziwić, że takie firmy jak NVIDIA, AMD czy Intel dążą do osiągnięcia dominującej pozycji jako dostawcy najwydajniejszych rozwiązań na rynku.
Gaudi2 – to nie jest zwykły procesor Intela
Zanim przejdziemy do omawiania wyników wydajności układu Intela Habana Gaudi2, wyjaśnijmy sobie szybko, czym właściwie on jest. Przywykliśmy, że jednostki Intela korzystają z architektury x86. Ta jednak nie najlepiej sobie radzi w dedykowanych obliczeniach czy szkoleniu sztucznej Inteligencji. Z tego względu „niebiescy” musieli postawić na nowe rozwiązanie.
Gaudi to heterogeniczny układ typu SoC (system on a chip) zawierający silnik mnożenia macierzy (MME) i programowalny rdzeń procesora Tensor. Tak naprawdę każdy moduł TPC to zasadniczo 256-bitowy procesor ogólnego przeznaczenia VLIW SIMD. Dodatkowo Gaudi2 został wyposażony w klaster zdolny do przetwarzania danych w formaty FP32, TF32, BF16, FP16 i FP8 (FP8 jest obsługiwany tylko w Gaudi2). Ponadto układ posiada własne silniki multimedialne przetwarzające zarówno dane wideo, jak i audio, co jest niezwykle ważne w przetwarzaniu wizji.
Procesory Gaudi2 są produkowane w procesie technologicznym 7 nm w fabrykach TSMC. Rdzenie obliczeniowe procesora Gaudi2 są wyposażone łącznie w 48 MB pamięci SRAM, a podsystem pamięci obejmuje 96 GB pamięci HBM2E oferującej szczytową przepustowość na poziomie 2,45 TB/s. Aby uczynić układ jeszcze bardziej wszechstronnym, wyposażono go w 24 porty 100GbE RDMA poprzez konwergentny Ethernet (RoCE2).
Co to jest MLPerf?
Zestaw testów porównawczych MLPerf mierzy szybkość, z jaką różne systemy mogą uczyć modele, aby spełniały określoną metrykę jakości. Punkty odniesienia obejmują różne obszary, w tym przetwarzanie obrazów, języka i modeli handlowych i wykorzystują różne zbiory danych i cele jakościowe. Testy porównawcze wykonane MLPerf Training 3.0. Benchmark publikowane przez MLCommons są powszechnie uznanym standardem branżowym dotyczącym wydajności sztucznej inteligencji.
GAUDI2 konkurencją dla NVIDII?
Z danych opublikowanych przez Intela wynika, że akceleratory Gaudi2 odnotowały przyzwoity wzrost wydajności. Obecnie znacząco przewyższają układy graficzne A100. Mówimy tu jednak o dedykowanych rozwiązaniach NVIDII poprzedniej generacji. Niestety w przypadku nowszych jednostek opartych o architekturę Hopper (H100, H200) zauważymy, że omawiane rozwiązanie Intela jest wolniejsze. Warto jednak odnotować, że różnice nie są aż tak duże, jakby można było się tego spodziewać. Dodatkowo Intel twierdzi, że ich akcelerator Gaudi2 oferuje znacznie lepszą „wartość” w porównaniu do swoich odpowiedników na rynku. Choć nie znanym konkretnej ceny za rozwiązania niebieskich, to raczej założenie może być prawdziwie. Pamiętajmy, że NVIDIA sprzedaje swoje układy, zachowując nawet kilkusetprocentową marżę.
Dodatkowo trzeba odnotować, że Intel pochwalił się wynikami tylko z dwóch testów wchodzących w pakiet oprogramowania MLPerf Training 3.0. To dość szybko zostało zauważone przez NVIDIE, która już zdążyła się pochwalić osiągami swojej stacji roboczej do szkolenia AI wyposażonej w 8 układów H100. Jak łatwo się domyślić w każdym przypadku to zieloni zapewniają najwyższą wydajność.
Większa dostępność największą zaletą?
David Zinsner na spotkaniu podczas Citi Global Technology Conference ujawnił, że Intel dostrzegł doskonałą okazję do ugruntowania swojej pozycji jako gracza w branży sztucznej inteligencji. Potwierdził, że spotkał się z ogromnym zainteresowaniem akceleratorami Gaudi. Te mają stanowić świetną alternatywę dla dedykowanych układów od NVIDII.
Poza wspomnianym już argumentem finansowym, gdzie propozycja Intela jest zauważalnie tańsza, dochodzi jeszcze kwestia samej dostępności. Co prawda obaj producenci wytwarzają swoje układy w zakładach TSMC, to jednak „niebiescy” korzystają z mniej obciążonych linii produkcyjnych wykorzystujących proces litograficzny 7 nm. Dodatkowo jednostki Gaudi2, wykorzystują pamięć HBM2E, a nie najnowsze rozwiązanie w postaci HBM3E. Nie ma zatem co się dziwić, że Intel jest w stanie dostarczyć dużo więcej, szybciej i taniej swoich układów na rynek.
Co przyniesie przyszłość? Konkurencja nie śpi
Jakby tego było mało NVIDIA niedawno zaprezentowała optymalizacje TensorRT, które możemy wykorzystać do trenowania dużych modeli językowych (LLM). Ma to podwoić wydajność układu H100. Warto zaznaczyć, że rozwiązanie tak mocno promowane przez zielonych – TensorRT-LLM – w rzeczywistości jest kodem typu open source. Teoretycznie więc Intel, AMD i wszyscy inni producenci będą mogli wdrożyć przetwarzanie wsadowe w locie i inne koncepcje TensorRT-LLM by uzyskać pewien wzrost wydajności.
Wiemy też, że zarówno Google, jak i Qualcomm opracowują swoje dedykowane rozwiązania, które będzie można wykorzystać w centrach szkoleniowych sztucznej inteligencji. I choć patrząc na wydajność tych jednostek trudno oczekiwać by się stały one realną konkurencją dla NVIDII czy nawet Intela, to mają one swoje zalety. Na pewno wyróżnia się tutaj rozwiązanie od Qualcomm. Ich dedykowany układ AI, mimo że wolniejszy charakteryzuje się wręcz rewelacyjnie niskim zapotrzebowaniem energetycznym. Biorąc pod uwagę stale rosnące koszty energii, takie podejście może mieć jak największy sens.
Nie dziwią też słowa samych inżynierów Gaudi. Ci już zapowiadają, że w niedługim czasie powinniśmy spodziewać się jeszcze szybszego układu. Plotki głoszą, że Gaudi3 ma korzystać z litografii 5 nm.
