Poznaliśmy szczegóły specyfikacji pamięci od HBM4 do HBM8. Wbudowane chłodzenie, wysoka przepustowość i gęstość pamięci

Wielowarstwowe pamięci operacyjne HBM towarzyszą nam od lat. Choć miały krótki epizod w sprzęcie konsumenckim, na przykład w kartach graficznych z serii AMD Radeon Vega, to jednak niepodzielnie dominują w segmencie serwerowym. Teraz poznaliśmy szczegóły specyfikacji nadchodzących pamięci HBM4, a także plany dotyczące kolejnych generacji, sięgające aż do HBM8, która ma już mieć wbudowane chłodzenie, ale również dosłownie kosmiczne parametry.

KAIST i Tera opublikowały szczegółowe specyfikacje oraz plany rozwoju pamięci operacyjnych od HBM4 do HBM8. Zapowiedziano znaczące wzrosty przepustowości i gęstości, a także wprowadzenie wbudowanego chłodzenia.

AMD Instinct MI400 z 432 GB pamięci HBM4 zadebiutuje w 2026 roku. AMD EPYC Verano z premierą w 2027 roku

KAIST (Korea Advanced Institute of Science & Technology) oraz Tera (Terabyte Interconnection and Package Laboratory) opublikowały specyfikację oraz plany rozwojowe pamięci operacyjnej typu HBM. Omówienie zaczynamy od nadchodzącej pamięci HBM4, która ma trafić do układów z serii AMD Instinct MI400 oraz NVIDIA Rubin i Rubin Ultra. Co ciekawe, z prezentacji dowiadujemy się wielu szczegółów dotyczących nadchodzących i planowanych układów NVIDIA. GPU R200 (Rubin) będzie zbudowane z dwóch chipletów, gdzie każdy będzie miał powierzchnię 728 mm² i pobór mocy na poziomie 800 W. Sam interposer (płytka pod chipami) będzie miał rozmiar 2194 mm² (46,2 mm × 48,5 mm), a całość wykorzysta osiem kości HBM4, oferując łączną przepustowość 16 lub 32 TB/s. Cały układ będzie charakteryzował się poborem mocy 2200 W.

NVIDIA zapowiada Rubin i Rubin Ultra, nową generację GPU i CPU zapewniających wysoką wydajność w obliczeniach

Konkurencyjny akcelerator AMD Instinct MI400, którego omówienie znajdziecie w osobnym materiale, również zostanie wyposażony w pamięć HBM4. W jego przypadku zaoferowana ma zostać pojemność aż 432 GB oraz łączna przepustowość sięgająca 19,6 TB/s - dla porównania, układy z serii NVIDIA Rubin mają mieć od 288 do 384 GB pamięci HBM4. Wracając do samej technologii HBM4, nowy standard oferuje prędkość transmisji danych na poziomie 8 Gb/s, gęstość 24 Gb (czyli 3 GB) na pojedynczą warstwę, pojemność całej kości 36 lub 48 GB (w zależności od tego, czy zastosuje się 12 czy 16 warstw), a także pobór mocy wynoszący 75 W na kość. Warto również wspomnieć o planowanej wersji HBM4E, która zwiększy prędkość transmisji do 10 Gb/s, przepustowość do 2,5 TB/s i zaoferuje gęstość do 32 Gb (4 GB) na warstwę. To pozwoli uzyskać całkowitą pojemność kości na poziomie 48 lub 64 GB, zależnie od liczby warstw (12 lub 16), przy jednoczesnym wzroście poboru mocy do 80 W.

NVIDIA Rubin - prace nad nową generacją akceleratorów AI przebiegają sprawnie. Dostawy pamięci HBM4 już wkrótce

W przypadku pamięci HBM5 prędkość transmisji danych, liczba linii I/O oraz liczba warstw pozostaną na poziomie znanym z HBM4 w wersji 16-warstwowej. Zmianie ulegną jednak kluczowe parametry, przepustowość pojedynczej kości wzrośnie dwukrotnie do 4 TB/s, gęstość pojedynczej warstwy zwiększy się do 40 Gb (czyli 5 GB). W rezultacie maksymalna pojemność jednej kości wyniesie 80 GB, przy poborze mocy sięgającym 100 W. Nowe moduły HBM5 mają trafić do układów z serii Feynman, a konkretnie do chipu F400. Ten będzie skonstruowany z czterech chipletów, z których każdy zajmie powierzchnię 750 mm² przy poborze mocy 900 W. Powierzchnia interposera (płytka pod chipami) wzrośnie do 4788 mm². Podobnie jak NVIDIA Rubin, chip F400 wykorzysta osiem kości HBM5, ale w tym przypadku cały układ osiągnie wysoką przepustowość 48 TB/s i pobór mocy na poziomie aż 4400 W.

AMD CDNA 4 - opis architektury dla akceleratorów do sztucznej inteligencji na przykładzie układów z serii Instinct MI350

Nie wiadomo jeszcze, czy powstanie pamięć HBM5E. Natomiast według zapowiedzi, premiera HBM6 planowana jest na 2032 rok i przyniesie podwojenie zarówno przepustowości, jak i szybkości transmisji danych odpowiednio do 8 TB/s i 16 Gb/s. Zmieni się również liczba warstw: planowane są warianty 16- i 20-warstwowe, a gęstość pojedynczej warstwy wzrośnie do 48 Gb (6 GB). Oznacza to, że jedna kość będzie oferować pojemność 96 lub 120 GB, przy poborze mocy na poziomie 120 W. Największą nowością będzie jednak konieczność zastosowania chłodzenia zanurzeniowego w specjalistycznej i nieprzewodzącej cieczy w odróżnieniu od poprzednich generacji. Z dostępnych grafik wynika, że wysokość samej kości nie ulegnie zmianie i nadal będzie wynosić 720 µm. Natomiast ewolucję przejdzie sposób pakowania warstw, zamiast technologii Microbump (MR-MUF), zastosowany zostanie Cu-Cu Direct Bonding. Oznacza to rezygnację z mikrolutów na rzecz bezpośredniego styku dwóch ekstremalnie czystych powierzchni miedzi, co pozwala na zmniejszenie odstępów między warstwami, lepsze odprowadzanie ciepła oraz obsługę wyższych szybkości transmisji danych.

AMD Instinct MI350X oraz Instinct MI355X oficjalnie zaprezentowane - Akceleratory oparte na architekturze CDNA 4

Co ciekawe, KAIST i Tera podają, że następca układu GPU z rodziny Feynman ma składać się z ośmiu chipletów, z których każdy będzie miał powierzchnię 700 mm² i pobór mocy na poziomie 1000 W. Jednak najciekawszym elementem tej konstrukcji jest zastosowanie aż 16 kości pamięci HBM6, co ma przełożyć się na łączną przepustowość rzędu 128 lub nawet 256 TB/s oraz pojemność 1536 lub 1920 GB. Sam interposer będzie miał imponującą powierzchnię 6014 mm² (102,8 mm × 58,5 mm) - jeden z jego boków to 10 cm długości :) Cały układ ma pobierać aż 5920 W. Natomiast chip planowany przez NVIDIA na 2035 rok będzie zawierał osiem chipletów, każdy o powierzchni 600 mm² i poborze mocy 1200 W. Wokół nich będzie ulokowane aż 32 kości pamięci HBM7, co w rezultacie ma przełożyć się na astronomiczną łączną przepustowość 1024 TB/s i pojemność 5120 lub 6144 GB. Całe GPU według planów ma pobierać moc 15 360 W.

Samsung planuje małą rewolucję w chipach AI. Szklane interposery mają zwiększyć wydajność i obniżyć koszty do 2028 roku

Pamięci HBM7 znacząco podniosą transmisje danych do 24 Gb/s i przepustowość do 24 TB/s. Liczba lini I/O wzrośnie do 8192, a ilość warstw do 20 i 24. Gęstość warstwy wzrośnie do 64 Gb (8 GB), a cała kość będzie miała pojemność 160 lub 192 GB przy poborze mocy 160 W. W przypadku HBM8 standard pamięci pojawi się dopiero w 2038 roku, oczekiwana specyfikacja obejmuje szybkość transmisji danych 32 Gb/s i podwojenie linii I/O do 16 384. Rozwiązanie pamięci będzie oferować 64 TB/s przepustowości na kość przy gęstości warstwy 80 Gb (10 GB). Zatem jeden moduł HBM8 będzie miał pojemność 200 lub 240 GB w zależności od ilości warstw 20 lub 24. Pobór mocy pojedynczej kości ma wzrosnąć do 180 W. Warto zauważyć, że jeżeli faktycznie pojawią się konstrukcję wykorzystujące 32 kości, to mówimy o sumarycznym poborze mocy z samej tylko pamięci na poziomie 5 760 W.

Nadchodzi NVIDIA N1x, czyli układ, który korzysta z architektury ARM. Jednostka przetestowana w benchmarku Geekbench

Dodatkowymi cechami wspólnymi dla pamięci HBM7 i HBM8 mają być zastosowanie szklanych interposerów oraz architektury HBM-HBF (HBM – Heterogeneous Base Fabric). Rozwiązanie to umożliwia łączenie warstw pamięci NAND Flash (do 128 warstw) bezpośrednio i równolegle z warstwami HBM w jednej zintegrowanej strukturze. Komunikacja wewnętrzna ma osiągać przepustowość do 2 TB/s, co znacząco zwiększy nie tylko dostępną pojemność, ale również pozwoli wyeliminować dotychczasowe wąskie gardła transmisji danych. Warto również zaznaczyć, że kości HBM7 i HBM8 będą wymagały chłodzenia cieczą wbudowanego w układy scalone. Warto także zauważyć, że specyfikacje HBM wskazują na wyraźne trendy, każda nowa generacja podwaja przepustowość, a przy HBM7 i HBM8 przewidywany jest szczególnie duży skok. Dodatkowo pojemność pojedynczej kości ma rosnąć o 50% co trzy lata.