inferencja AI

Hierarchia pamięci w serwerach AI zmienia się w zawrotnym tempie. SK Hynix i Sandisk ogłosiły formalne uruchomienie konsorcjum standaryzacyjnego dla technologii HBF (High Bandwidth Flash) pod auspicjami Open Compute Project. Nowy standard ma zapełnić lukę między ultraszybką, ale pojemnościowo ograniczoną pamięcią HBM a tanimi dyskami SSD, i zrobić to akurat wtedy, gdy rynek inferencji AI zaczyna odczuwać realne wąskie gardła pamięciowe.

Kanadyjski startup Taalas wyszedł z ukrycia z radykalnym podejściem do akceleracji AI. Zamiast budować kolejną elastyczną platformę obliczeniową, firma dosłownie wytrawiła parametry modeli językowych w strukturze krzemowego układu. Efekt? ponad 16 000 tokenów na sekundę dla Llama 3.1 8B. To dziesięć razy więcej niż potrafią najpotężniejsze systemy konkurencji, przy jednoczesnym dziesięciokrotnym obniżeniu kosztów eksploatacji.