AMD Instinct MI455X - Pierwsze szczegóły topowego akceleratora AI, wykorzystującego architekturę CDNA 5 i pamięć HBM4

Dzisiaj firma AMD oficjalnie zapowiedziała nowe podzespoły dla serwerów, które mają zaoferować bardzo wysoką wydajność dla rynku HPC, Enterprise, Cloud czy Agentic AI. O serwerowych procesorach EPYC Venice oraz Verano (Zen 6 oraz Zen 6c) przygotowaliśmy osobny materiał, który możecie już znaleźć na PurePC. Tutaj skupimy się natomiast na topowym akceleratorze Instinct MI455X, opartym na architekturze CDNA 5, który również został pokazany podczas konferencji Advancing AI.

Podczas konferencji Advancing AI, firma AMD oficjalnie zaprezentowała pierwsze szczegóły akceleratora AI Instinct MI455X. Układ ten oparto na architekturze CDNA 5 i wykorzystuje m.in. pamięć HBM4.

AMD EPYC 9006 - Oficjalna zapowiedź serwerowych procesorów Zen 6 i Zen 6c. Będzie do 96 rdzeni Zen 6 i do 256 rdzeni Zen 6c

AMD Insinct MI455X to topowy akcelerator, oparty na architekturze CDNA 5 oraz przygotowany z myślą o obliczeniach dla rynku HPC oraz AI (w tym coraz popularniejszej Agentic AI). Jest to pierwszy akcelerator, przynajmniej według zapewnień firmy, wyprodukowany w litografii 2 nm (TSMC). Względem poprzedniej generacji, nowy układ oferuje znacznie wyższą wydajność w obliczeniach w niższej precyzji, dzięki lepszej obsłudze m.in. MXFP4 (Microscaling FP4), MXFP6 (Microscaling FP6) oraz MXFP8 (Microscaling FP8). Obliczenia te zostały znormalizowane przez organizację Open Compute Project (OCP). Jak to dokładnie wygląda na tle topowego przedstawiciela poprzedniej generacji, czyli Instinct MI355X? Szczytowa wydajność w obliczeniach typu MXFP4 oraz MXFP8 jest nawet 4-krotnie wyższa, z kolei w przypadku MXFP6 jest to maksymalnie dwukrotnie wyższa wydajność.

AMD kupuje sobie miejsce u Anthropic gotówką, nie udziałami. Szczegóły umowy na 2 gigawaty Instinct MI450

AMD Instinct MI455X oferuje 432 GB pamięci HBM4 o przepustowości sięgającej 23.3 TB/s. Pojemność VRAM-u jest o połowę większa w porównaniu do Instinct MI355X, natomiast sama przepustowość jest niemal 3-krotnie wyższa w topowym układzie CDNA 5 (8 TB kontra 23.3 TB). Ten ostatni korzysta również z imponującej liczby 320 miliardów tranzystorów. Wspomnieliśmy wcześniej, że Instinct MI455X korzysta z 2 nm procesu technologicznego. Jest to prawda, ale dotyczy nie całego akceleratora, a jego serca, czyli bloków XCD (Accelerator Complex Die), gdzie znajdują się główne jednostki obliczeniowe. Blok I/O oraz Fabric and Cache (FCD) zostały wyprodukowane w procesie TSMC 3 nm (dokładnie to węzeł N3P). Na końcu mamy 12 stosów pamięci HBM4 na 2048-bitowej magistrali, co daje łącznie wspomniane 432 GB przy przepustowości 23.3 TB/s. Cały projekt chipletów, bloku FCD i I/O oraz integracji HBM4 bazuje na technologii pakowania CoWoS-L.

Instinct MI455X bez opóźnień. AMD odpowiada na kontrowersyjny raport SemiAnalysis o problemach z procesem N2

Jak wygląda maksymalna, teoretyczna moc obliczeniowa akceleratora Instinct MI455X w zależności od typu obliczeń? Według deklaracji producenta, w precyzji FP32 jest to 315 TFLOPS, dla precyzji FP16 (16-bitowy format liczb zmiennoprzecinkowych) jest to 315 TFLOPS, dla obliczeń macierzowych w precyzji FP16 / BF16 jest to 5.03 PTFLOPS. Dla obliczeń w 8-bitowym formacie liczb zmiennoprzecinkowym (MXFP8 oraz FP8), teoretyczna moc sięga 20.13 PTFLOPS, dla MXFP6 jest to również 20.13 PTFLOPS, natomiast dla MXFP4 moc wynosi 40.26 PTFLOPS. Wyniki te są do zrealizowania przy założeniu, że częstotliwość pracy wynosi 2400 MHz (według oficjalnej specyfikacji Instinct MI455X).

NVIDIA zaprezentowała platformę Vera Rubin wyposażoną w jednostki Groq LPU, które mają zrewolucjonizować rynek AI

Jakie zmiany zaszły w konfiguracji pamięci, także cache? Według opublikowanego diagramu, oprócz zmiany w pamięci HBM (HBM4 dla Instinct MI455X zamiast HBM3E dla Instinct MI355X), nowy akcelerator posiada ponad dwukrotnie więcej cache L1D (384 KB zamiast 160 KB), ponadto wielokrotnie zwiększono pojemność cache L2 (podobną modyfikację widzieliśmy w architekturze Ada Lovelace u NVIDII) - z 4 MB L2 do 96 MB L2 (dokładnie to 96 MB dla czterech klastrów XCD oraz 96 MB L2 dla czterech kolejnych klastrów XCD, co łącznie daje 192 MB). Jednocześnie zrezygnowano z wykorzystywania dodatkowej pamięci Infinity Cache. Akcelerator Instinct MI455X został zaprojektowany w celu wyraźnej poprawy przepustowości obliczeniowej dla zadań opartych na sztucznej inteligencji, zarówno w kontekście trenowania modeli jak i wnioskowania. W porównaniu do Instinct MI355X, nowszy model to szybsze trenowanie modeli, przetwarzanie większych partii danych, wyższą przepustowość dla wnioskowania oraz efektywniejsze wykorzystanie infrastruktury AI.

Jeśli chodzi o samą budowę akceleratora, to Instinct MI455X, podobnie jak Instinct MI355X, korzysta z 8 chipletów XCD (Accelerator Complex Die). Wcześniejsze jednostki obliczeniowe ACC dla każdego bloku XCD zostały jednak zastąpione przez bloki robocze (WGP - Work Graphics Group i co ciekawe, wskazuje to na pewną unifikację CDNA oraz RDNA, gdzie to ostatnie również wykorzystuje bloki WGP, to zdecydowanie ciekawe w kontekście nieoficjalnych informacji sprzed wielu miesięcy o pracach nad zunifikowaną architekturą, łączącą w sobie cechy CDNA oraz RDNA; CDNA 5 wydaje się być pierwszym krokiem ku temu rozwiązaniu). Każdy z bloków XCD jest podzielony na dwa silniki cieniujące (SE - Shader Engines), a każdy taki silnik SE oferuje z kolei dostęp do 16 procesorów WGP. Pełny akcelerator Instinct MI455X posiada 8 klastrów XCD, 256 bloków WGP, 192 MB pamięci cache L2 oraz 432 GB pamięci HBM4.

Nowe bloki WGP, przygotowane z myślą o architekturze CDNA 5, otrzymały również pewne modyfikacje w zakresie przeprowadzania obliczeń. Wcześniejsza implementacja Wave64 została zastąpiona architekturą Wave32, zmniejszając w ten sposób opóźnienia w wykonywaniu instrukcji, redukując kary za nadmierną rozbieżność rozgałęzień oraz zmniejszając obciążenie rejestrów. Implementacja Wave32 daje lepsze wyniki dla obliczeń, które są wrażliwe na opóźnienia oraz cechuje się większą elastycznością we wdrożeniu bloków o różnych rozmiarach (dla operacji tensorowych). Wypadkową tych zmian jest również to, że Wave32 składa się z czterech, 32-wątkowych jednostek wykonawczych SIMD (jednostki oparte na pojedynczej instrukcji oraz równoczesnym dostępie do wielu danych) oraz czterech skalarnych jednostek wykonawczych, współdzielących stałą pamięć podręczną. Jednostki SIMD wykonują tą samą operację na 32 wątkach równocześnie, a każda 32-wątkowa operacja może być uruchamiana w każdym cyklu zegara. Oprócz tego akcelerator Instinct MI455X obsługuje tzw. wewnętrzne partycjonowanie przestrzenne. Oznacza to, że każdy procesor graficzny można skonfigurować w czasie rozruchu w taki sposób, aby miał 1, 2, 4 lub 8 partycji, z których każda składa się od 1 do 8 klastrów XCD z równymi częściami wbudowanej pamięci HBM4. Partycje bezpiecznie izolują wirtualne maszyny, działające na tym samym akceleratorze graficznym. Dodatkową ochronę stanowi tutaj także obsługa technologii wirtualizacji wejścia/wyjścia z pojedynczym rdzeniem (w skrócie SR-IOV).

Jakie inne formy zabezpieczeń zostały zaimplementowane w akceleratorze AMD Instinct MI455X? Pierwszą jest technologia root of trust wbudowana w SoC ze wsparciem dla protokołu DMTF Security. Protokoły definiują komunikaty, obiekty danych oraz sekwencje do wymiany komunikatów w różnych nośnikach transportowych oraz fizycznych, zapewniając w ten sposób większe bezpieczeństwo łańcucha dostaw oraz dodatkową ochronę przed wykorzystaniem niezaufanego źródła oprogramowania sprzętowego. Nie brakuje ponadto, znanego z procesorów EPYC i kart sieciowych, zaufanego środowiska wykonawczego (TEE) z zaufanym protokołem wejścia/wyjścia (Trusted I/O), w celu zagwarantowania poufności oraz integralności danych w systemie.

Akceleratory AMD Instinct MI455X zostaną wykorzystane w nowej szafie serwerowej (AMD Helios), która ma charakteryzować się wysokim stopnień skalowalności. Jedna taka szafa będzie w stanie pomieścić do 72 akceleratorów Instinct MI455X. W ten sposób klient otrzyma rozwiązanie, wykorzystujące 31 TB szybkiej pamięci HBM4 o łącznej przepustowości 1.7 PB/s oraz o szczytowej wydajności AI sięgającej 2.9 Exaflops. Takie rozwiązanie ma służyć nawet najbardziej wymagającym zadaniom, związanym z AI oraz Agentic AI. Szafa ponadto będzie wyposażona w procesory EPYC Venice SP7 (96 rdzeni Zen 6 na jeden układ), z obsługą magistrali PCIe 6.0 oraz o przepustowości pamięci, sięgającej 1.6 TB/s. AMD podczas konferencji potwierdziło, że zarówno akcelerator Instinct MI455X jak i szafa AMD Helios znajdują się obecnie na etapie pełnej produkcji. W zależności od intensywności użycia, AMD Helios z Instinct MI455X ma oferować od 10 do 15% wyższą wydajność (tokeny / sekundy / per user) w porównaniu do serwerowej szafy, opartej na układach NVIDIA Vera Rubin.

Jeśli chodzi o dalsze plany, to AMD zaprezentowało zaktualizowany plan wydawniczy dotyczący akceleratorów Instinct. W tym roku do klientów trafi model Instinct MI455X wraz z szafą serwerową Helios. Już w 2027 roku nastąpi premiera kolejnej generacji - serii Instinct MI500, opartej m.in. na nowej wersji pamięci HBM. Seria Instinct MI500 wykorzysta architekturę CDNA 6. Za dwa lata do oferty zostanie wprowadzona kolejna seria Instinct MI600, nad którą trwają obecnie prace rozwojowe. Instinct MI600 skorzysta z kolejnej generacji CDNA. Jak widać, AMD zamierza na tym rynku przeć równie szybko co NVIDIA, corocznie wprowadzając nowe rozwiązania dla rynku AI oraz Agentic AI.