AMD Instinct MI350X oraz Instinct MI355X oficjalnie zaprezentowane - Akceleratory oparte na architekturze CDNA 4

W 2023 roku firma AMD zaprezentowała akcelerator Instinct MI300A, który był pierwszym APU na rynek HPC / AI. W zeszłym roku wprowadzono z kolei układ Instinct MI325X z 256 GB pamięci HBM3e. Jeszcze w zeszłym roku ogłoszono również zbliżającą się premierę generacji CDNA 4. Dzisiaj, podczas konferencji prasowej, ogłoszono szczegóły dotyczące akceleratorów Instinct MI350X oraz Instinct MI355X. Jak wypadają na tle Instinct MI325X oraz NVIDIA B200?

AMD oficjalnie ogłasza dostępność akceleratorów Instinct MI350X oraz Instinct MI355X, opartych na architekturze CDNA 4. Ich wydajność ma być porównywalna lub wyższa od dostępnych już układów NVIDIA z generacji Blackwell - B200 oraz GB200.

AMD CDNA 4 - opis architektury dla akceleratorów do sztucznej inteligencji na przykładzie układów z serii Instinct MI350

Zarówno AMD Instinct MI350X jak i Instinct MI355X, posiadają na pokładzie po 288 GB pamięci HBM3e (8192-bit, 8 stosów) o przepustowości sięgającej 8 TB/s. Różnica polega na tym, że Instinct MI350X jest mniej wyżyłowany, przez co pobiera mniej mocy, ale i oferuje nieco mniejszą wydajność. Obie konstrukcje dostępne będą w formie OAM, a współczynnik TBP wynosi odpowiednio 1000 W dla Instinct MI350X (tyle samo co w przypadku Instinct MI325X) oraz 1400 W dla Instinct MI355X. Jeśli chodzi o specyfikację, to AMD podaje tutaj przede wszystkim szczytową moc dla różnych typów obliczeń. Producent potwierdza jeszcze wykorzystanie 3 nm procesu technologicznego TSMC (N3P) oraz liczbę tranzystorów, która wynosi 185 miliardów. W porównaniu do poprzednich akceleratorów firmy, nowości oferują wsparcie także dla obliczeń typu FP6 oraz FP4. Jeśli chodzi o budowę, to zarówno Instinct MI350X jak i Instinct MI355X są wyposażone w 8 głównych kafelków o nazwie Accelerated Complex Dies (XCD) - to właśnie one wyprodukowane są w litografii TSMC N3P. Łącznie akceleratory posiadają 256 bloków Compute Units oraz po 16 384 procesory obliczeniowe. Co ciekawe, liczba jednostek zmniejszyła się względem Instinct MI325X, jednocześnie dzięki znacznie wydajniejszym rdzeniom Matrix (których notabene także jest mniej), we wszystkich typach obliczeń bazujących na liczbach zmiennoprzecinkowych, to układy CDNA 4 są znacznie wydajniejsze, co sugeruje ich sporą przebudowę i optymalizację w porównaniu do architektury CDNA 3.

AMD Instinct MI325X - oficjalna prezentacja akceleratora dla sztucznej inteligencji. AMD zapowiada także układ Instinct MI355X

Tym czym AMD Instinct MI350X oraz Instinct MI355X zyskują względem poprzednika (Instinct MI325X), to możliwość przetwarzania obliczeń 4-bitowych oraz 6-bitowych liczb zmiennoprzecinkowych (odpowiednio FP4 oraz FP6). To z kolei umożliwia obsługiwanie kilkukrotnie większych typów obliczeń oraz znacznie większych modeli językowych na potrzeby wnioskowania AI. Dla obliczeń FP6 oraz FP4, szczytowa moc obliczeniowa AMD Instinct MI355X wynosi 20 petaflopów, natomiast dla Instinct MI350X to 18.4 petaflopów. Dla porównania, w akceleratorze NVIDIA B200 Blackwell jest to 18 petaflopów dla FP4 oraz 9 petaflopów dla FP6. AMD znacznie lepiej wypada także w obliczeniach podwójnej precyzji (FP64), gdzie moc sięga 79 TFLOPS dla Instinct MI355X oraz 72 TFLOPS dla Instinct MI350X. Wprawdzie Instinct MI325X wypada nadal lepiej (81.7 TFLOPS w szczycie), jednak rozwiązania AMD nadal prezentują się lepiej od NVIDII (~40 TFLOPS dla NVIDIA B200).

AMD Instinct MI355X oraz Instinct MI350X oferowane będą w dwóch wariantach, które wyróżniają się zastosowanym systemem chłodzenia. Pierwszy to klasyczna obudowa OAM z systemem chłodzenia powietrzem. Drugi to chłodzenie wodne, umieszczone bezpośrednio na akceleratorze. Jeśli chodzi o porównanie wydajności, to AMD chwali się m.in. ponad 3-krotnie wydajniejszym wnioskowaniem AI dla Instinct MI355X w porównaniu do Instinct MI300X. Największe różnice widoczne będą przy wykorzystywaniu chatbotów (ponad 4x wydajniej), nieco mniejsze różnice z kolei dotyczą chociażby generowania treści z pomocą AI. Dane te bazują na wykorzystaniu języka Llama 3.1 z 405 miliardami parametrów.

Jeśli chodzi o wykorzystanie innych modeli językowych, to w kolejnym porównaniu AMD przedstawia przykłady DeepSeek R1, Llama 3.3 70B oraz Llama 4 Maverick. W przypadku DeepSeek R1, Instinct MI355X wypada średnio 3-krotnie lepiej we wnioskowaniu, natomiast w dwóch pozostałych przypadkach jest już ponad 3-krotnie wydajniej. Oczywiście nadal mowa o zestawieniu z Instinct MI300X. Producent deklaruje również, że najnowsze rozwiązanie oparte na architekturze CDNA 4 jest w pełni konkurencyjne do akceleratorów NVIDIA B200 oraz GB200 (Grace-Blackwell), które korzystają z modeli TensorRT-LLM. AMD Instinct MI355X ma tu być od 20 do 30 procent wydajniejsze, gdy wykorzystywane są modele językowe DeepSeek R1 oraz Llama 3.1 405B, gdzie w obu przypadkach akceleratory przetwarzają obliczenia z użyciem 4-bitowych liczb zmiennoprzecinkowych. Idąc dalej w porównaniu do NVIDIA B200, akcelerator AMD Instinct MI355X ma charakteryzować się lepszym współczynnikiem dostępu do tokenów na każdy wydany dolar. Parametr ten ma być nawet o 40% lepszy na układzie CDNA 4. Podczas konferencji potwierdzono, że akceleratory AMD Instinct MI350X oraz Instinct MI355X są już dostępne dla klientów do zamówienia. Dalsze plany dotyczące rozwijania segmentu Data Center skupiają się na serii Instinct MI400 oraz procesorach EPYC Venice (Zen 6) oraz EPYC Verano (Zen 7?).