AMD Instinct MI300X i MI300A to jedne z najbardziej wyczekiwanych akceleratorów w segmencie AI. Wszystko wskazuje, że zgodnie z wcześniejszymi informacjami układy te zadebiutują już za miesiąc. Śmiało można powiedzieć, że oczekiwania rynku wobec tych jednostek są naprawdę duże. Czy AMD w końcu zacznie gonić NVIDIE, która ostatnimi laty wyrosła na lidera rozwiązań dedykowanych szkoleniu sztucznej inteligencji? By móc odpowiedzieć na to pytanie, postanowiłem podsumować wszystkie informacje, które już posiadamy o nadchodzących układach Instinct MI300X i MI300A.
Oczekiwania przed konferencją Advancing AI
Zacznijmy jednak od początku. Już 6 grudnia AMD będzie gospodarzem eventu, który nazwano „Advancing AI”. Oczekuje się, zatem że będzie to idealna okazja, by zaprezentować swoje produkty skierowane dla centrów danych. I choć sama informacja o planowanym wydarzeniu pojawiła się dość niepodziewanie, to sam kierunek rozwoju przez AMD ukierunkowany na sztuczną intelekcję już nikogo nie dziwi. Firma od miesięcy wykupuje liczne startupy technologiczne, by móc zapewnić jak najbardziej kompleksowe rozwiązania, którymi zainteresują się największe firmy branży IT.
Choć AMD nie ujawniło co zostanie zaprezentowane w trakcie trwania konferencji „Advancing AI”, to plotek jest naprawdę sporo. Mówi się o nowych jednostkach EPYC opartych na rdzeniach ZEN5. Jednak trzepa przyznać, że opcja ta jest mało prawdopodobna, zważywszy, że na przestrzeni kilku ostatnich miesięcy „czerwoni” zaprezentowali jednostki serii Bergamo, Genoa-X czy Siena. Te nawet nie zdążyły zostać w pełni zaadaptowane na rynku, więc wypuszczenie zupełnie nowych układów z punktu widzenia biznesowego nie ma największego sensu. Zwłaszcza że konkurencyjne układy Intela wciąż nie są w stanie dogonić konkurencji.
Dużo bardziej prawdopodobne wydaje się, zatem że AMD w końcu zaprezentuje długo wyczekiwane jednostki Instinct. Byłaby to świetna okazja na pełne przedstawienie rodziny akceleratorów AI nowej generacji o nazwie kodowej MI300. Według wcześniejszych zapewnień nowe układy mają być najlepszym produktem w segmencie sztucznej inteligencji. Jak już wspominałem, AMD już jakiś czas temu zmieniło swoją strategię rozwoju, wybierając rozwiązania AI na swój najważniejszy priorytet. Mają właśnie w tym pomóc jednostki Instinct MI300X i MI300A.
Akceleratory rodziny MI300 będą kolejnym potężnym chipletowym układem, wykorzystującym zaawansowane technologie „pakowania” opracowane przez TSMC. Zobaczmy, zatem co kryje się pod maską tych potworów AI.
AMD Instinct MI300X – wyzwanie w stronę NVIDII
Jeszcze przed oficjalną premierą największe zainteresowanie wzbudza układ AMD Instinct MI300X. I nie ma co się dziwić. Wielu wskazuje go jako bezpośrednią konkurencję segmencie rozwiązań AI, dla najnowszych jednostek Hopper od NVIDII czy Gaudii Intela. Rdzeń MI300 został w całości zaprojektowany na podstawie nowej architektury CDNA3. Z racji, że mamy do czynienia z konstrukcją chipletową, składająca się z kilku mniejszych układów połączonych w jedno, nie należy się dziwić, że cześć jest produkowana w litografii 5 nm a pozostałe w 6 nm.
Podobną konstrukcję znamy już z rozwiązań konsumenckich. W kartach Radeon RX 7000 moduły zawierające pamięć Cache, są właśnie produkowane w wyższym procesie litograficznym. AMD zauważyło, że w przypadku tych jednostek zmiana technologii produkcji nie przynosi zauważalnych zysków, a generuje za to większe koszty.
Jednak w przypadku MI300X „czerwoni” nie tylko wykorzystają „kafelki” modułów pamięci. Wszystko wskazuje, że sam rdzeń również będzie składał się z 8 modułów GCD. Każdy ma zwierać 40 bloków Cu z 2560 jednostkami obliczeniowymi. Jak łatwo możemy policzyć, pełny rdzeń MI300X może zatem zawierać 320 bloków CU z 20480 jednostkami obliczeniowymi.
I choć wspomniana konfiguracja nowych kart Instinct robi już spore wrażenie, to AMD nie zapomniało również o systemie pamięci. MI300X może pochwalić się o 50% większą pojemnością niż jego poprzednik – MI250X. Oczywiście postawiono na szybkie moduły HBM3 w ilości aż 192 GB. Przepustowość kości wynosi 5,2 TB/s a całość komunikuje się przez szynę Infinity Fabric z prędkością 896 GB/s.
Dla porównania, nadchodzący akcelerator AI NVIDIA H200 będzie wyposażony „tylko” w 141 GB, a Intelowy Gaudi 3 144 GB pamięci. Co może mieć znaczenie zwłaszcza dla firm zajmujących się szkoleniem dużych model językowych (LLM). Wybór układów wyposażonych w większą pulę pamięci może znacząco przyspieszyć cały proces.
Niestety tak mocna konfiguracja ma swoje minusy, chodzi o zużycie energii. TDP układu AMD Instinct MI300X ma wynosić nawet 750 W. Oznaczałoby to wzrost o 50% w porównaniu z 500 W Instinct MI250X. Układ NVIDIA H200 natomiast zadowala się 650 Watami.
AMD Instinct MI300A – pierwszy układ APU dla rozwiązań profesjonalnych
Całe długie lata czekaliśmy, aż AMD w końcu dotrzyma obietnicy dotyczącej układów APU klasy Exascale (dla skalowalnych serwerów). Wszystko wskazuje, że w końcu przyszła pora i 6 grudnia zostanie zaprezentowany Instinct MI300A.
Na pierwszy rzut oka układ APU nie różni się od omawianego wcześniej MI300X. Jednak ważne są szczegóły. Po dokładnym przyjrzeniu się zauważmy, że dwa rdzenie GCD zostały zastąpione przez trzy moduły CCD zawierające rdzenie ZEN4. TE posiadają nawet oddzielną pulę pamięci podręcznej. Na każdy CCD przypada 8 rdzeni i 16 wątków, co daje w sumie 24 rdzenie i 48 wątków. Dodatkowo jednostki ZEN4 posiadają po 24 MB cache pierwszego poziomu i po 32 MB na rdzeń CCD drugiego poziomu. Oczywiście nie zabrakło szybkiej pamięci HBM3 dla modułów GCD. W przypadku MI300A mówimy o 128 GB.
Jest to kolejny cios w stronę NVIDII. Jak wiemy producent ten również przygotowuje akceleratory Grace Hooper, łączące moc obliczeniową GPU oraz jednostki centralnej (CPU). Jednak w przypadku rozwiązania zielonych, z racji, że Ci nie posiadają licencji na układy architekturze x86, musieli postawić na rozwiązanie ARM. Te mimo wysokiej sprawności energetycznej nie są często w stanie zapewnić odpowiedniego poziomu wydajności i wymagają wykorzystywania dedykowanego oprogramowania. MI300A łączy natomiast pełnoprawne rdzenie ZEN4, znane choćby z serwerowych jednostek EPYC czy desktopowych Ryzenów.
Jeżeli tylko AMD uda się zapewnić odpowiednie wsparcie i rozwiążże wszystkie problemy z oprogramowaniem, to naprawdę nowe układy mogą stanowić dużą konkurencję dla propozycji NVIDII. Ta jednak ma sporą przewagę na rynku i nawet według optymistycznych spekulacji, o którym pisaliśmy wcześniej, może minąć sporo czasu, zanim AMD będzie w stanie dogonić zielonych. Być może zechcą powalczyć ceną, która jak wiemy, często bywa kluczowa. Zwłaszcza dla firmy kupujących tysiące sztuk akceleratorów do swoich centów obliczeń.
