inferencja AI
SK Hynix i Sandisk formalizują standard HBF (High Bandwidth Flash) dla rynku AI inference
Hierarchia pamięci w serwerach AI zmienia się w zawrotnym tempie. SK Hynix i Sandisk ogłosiły formalne uruchomienie konsorcjum standaryzacyjnego dla technologii HBF (High Bandwidth Flash) pod auspicjami Open Compute Project. Nowy standard ma zapełnić lukę między ultraszybką, ale pojemnościowo ograniczoną pamięcią HBM a tanimi dyskami SSD, i zrobić to akurat wtedy, gdy rynek inferencji AI zaczyna odczuwać realne wąskie gardła pamięciowe.
Startup Taalas HC1 wpisuje modele AI bezpośrednio w krzem. 16 000 tokenów na sekundę i dzięsieciokrotnie niższe koszty niż GPU
Kanadyjski startup Taalas wyszedł z ukrycia z radykalnym podejściem do akceleracji AI. Zamiast budować kolejną elastyczną platformę obliczeniową, firma dosłownie wytrawiła parametry modeli językowych w strukturze krzemowego układu. Efekt? ponad 16 000 tokenów na sekundę dla Llama 3.1 8B. To dziesięć razy więcej niż potrafią najpotężniejsze systemy konkurencji, przy jednoczesnym dziesięciokrotnym obniżeniu kosztów eksploatacji.
Recenzja karty graficznej PNY GeForce RTX 5080 Slim OC - Chłodzenie zajmujące dwa sloty zwiastuje kłopoty?
Test wydajności 007 First Light - Jaka karta graficzna do tajnych misji? Kuzyn Borewicza ma duże wymagania
AMD FSR 4.1 oficjalnie zmierza do kart graficznych Radeon RX 7000. Nowości trafią w 2027 roku także dla kart Radeon RX 6000
Test NVIDIA DLSS 4.5 kontra DLSS 4 oraz AMD FSR 4.1 - Porównanie najlepszych metod upscalingu na PC
Myślałeś, że karty dźwiękowe PCIe już wymarły? Creative Sound Blaster AE-X wraca do gry o pecetowe audio