Koniec kompromisu między pojemnością a szybkością pamięci? d-Matrix pokazuje Raptor dla akceleratorów AI

Pamięć coraz częściej staje się ograniczeniem dla akceleratorów AI. Milionowe konteksty, rosnące modele i obsługa wielu użytkowników sprawiają, że bufor KV może wymagać setek gigabajtów pamięci. HBM4 zapewnia dużą przepustowość i pojemność, SRAM jest znacznie szybszy, ale kosztowny i mały. Na Hot Chips 2026 d-Matrix pokazało Raptor, układ, który łączy DRAM z logiką w jednym stosie. Ma to łączyć pojemność, szybkość i efektywność energetyczną.

Startup d-Matrix rezygnuje z klasycznej warstwy PHY i sadowi logikę bezpośrednio na kości DRAM, uzyskując przepustowość bliską SRAM przy energii kilkukrotnie niższej niż ma to miejsce w przypadku HBM4.

Samsung pokazuje zHBM i V10 BV-NAND. Pamięć HBM trafi bezpośrednio na akcelerator AI

d-Matrix Raptor umieszcza kość logiczną wykonaną w procesie TSMC N4, czyli w technologii 4 nm, bezpośrednio na niestandardowej pamięci DRAM. Obydwie warstwy są łączone metodą face-to-face z podziałką złączy wynoszącą zaledwie 36 mikrometrów. Pojedynczy stos zapewnia 32 GB pojemności i ponad 100 TB/s przepustowości przy zmierzonej energii 0,37 pJ na bit. Dla porównania HBM4 w konfiguracji 192 GB oferuje około 18 TB/s przy 2–3 pJ/bit. Zwiększenie jego przepustowości do 100 TB/s oznaczałoby około 1,92 kW samej mocy pamięci. SRAM jest jeszcze szybszy i może osiągać nawet 300 TB/s, ale jego pojemność pozostaje ograniczona do kilku gigabajtów, a koszt jest wielokrotnie wyższy niż w przypadku HBM. Architektura Raptora generuje jednak własne problemy. Bank pamięci dostarcza 32 bajty na kolumnę, a trzy banki na kanał zapewniają łącznie 96 bajtów, a to jest mniej niż 128 bajtów oczekiwanych przez silnik tensorowy. d-Matrix wykorzystało więc mechanizm „stream blocking”, który według producenta pozwolił odzyskać 33 TB/s traconej przepustowości.

Ceny RAM-u oderwały się od rzeczywistości. Najnowsze analizy pokazują, że moduły DDR5 podrożały o prawie 500% w rok

Kolejnym wyzwaniem okazał się pobór energii przez interfejs. Raptor nie wykorzystuje klasycznej warstwy PHY, czyli fizycznego interfejsu łączącego pamięć z kontrolerem, dlatego nie można zastosować standardowego DBI (Data Bus Inversion), ograniczającego liczbę przełączeń sygnału. Inżynierowie opracowali własny wariant bezpinowego interfejsu, który według d-Matrix zmniejsza zużycie energii o około 20 proc., przy narzucie wydajności poniżej 1 proc. Wysoka temperatura złącza, sięgająca 105°C, wymusiła także znacznie częstsze odświeżanie pamięci. Raptor wykonuje je co 4 ms zamiast typowych 32 ms. Według producenta kosztuje to zaledwie 1,37 proc. przepustowości. Za niezawodność odpowiadają natomiast kodowanie Reeda-Solomona oraz zapasowe banki, które mają kompensować błędy wynikające z bardzo gęstego upakowania elementów.

SK Hynix pokazuje Intel EMIB obok CoWoS w planie pakowania pamięci HBM. Szczegóły z Hot Chips 2026

W porównaniu z platformą NVIDII wykorzystującą R200 i HBM4 d-Matrix deklaruje 23,4-krotnie wyższą gęstość przepustowości na milimetr kwadratowy oraz 13,5-krotnie lepszą efektywność energetyczną. Fizyczną produkcją układów zajmuje się tajwański Alchip, z którym d-Matrix nawiązało współpracę jesienią 2025 roku. Wszystkie te wyniki pochodzą jednak z pomiarów i porównań przedstawionych przez d-Matrix, więc wymagają niezależnej weryfikacji. Pomysł jest interesujący, bo Raptor pokazuje alternatywną drogę rozwoju pamięci dla akceleratorów AI. Zamiast stale zwiększać przepustowość klasycznego HBM, można skrócić drogę między DRAM a logiką i przenieść obliczenia bliżej danych.