inferencja

Groq zbudował swoją pozycję na architekturze, w której pamięć SRAM znajduje się bezpośrednio w układzie i zapewnia bardzo wysoką przepustowość oraz przewidywalne opóźnienia. NVIDIA zawarła z firmą umowę licencyjną, której wartość media szacowały na około 20 mld dolarów, a akceleratory Groq 3 LPX stały się elementem platformy Vera Rubin. W kolejnej generacji układów może pojawić się jednak pamięć DRAM ułożona w stosach 3D.

Microsoft latami opierał infrastrukturę AI na akceleratorach NVIDII i AMD, równolegle rozwijając własne układy Maia. Druga generacja działa już w środowisku produkcyjnym i obsługuje między innymi Microsoft Copilot. Teraz firma przedstawiła Maia 300, akcelerator zaprojektowany z myślą o inferencji, czyli generowaniu odpowiedzi przez wytrenowane modele. Wraz z nowym układem pokazała projekt szafy, sieci i infrastruktury chłodzenia. Od 2027 roku Microsoft zamierza zwiększać wdrożenia rodziny Maia do...

Google od 2016 roku buduje własne układy TPU do trenowania i obsługi modeli AI, ale najnowsze doniesienia sugerują coś nowego. Według nich firma testuje projekt chipu, który zamiast obsługiwać dowolne modele, ma zostać skrojony wyłącznie pod jeden, czyli Gemini. To pomysł na tyle nietypowy w świecie akceleratorów AI, że wymaga wyjaśnienia, ile Google chce zaszyć w krzemie, kiedy sprzęt trafi do serwerowni i co firma ryzykuje, stawiając na jedną architekturę modelu.

DeepSeek przestał być już tylko laboratorium od głośnych modeli. Według Reutersa firma od około roku buduje zespół pracujący nad własnym układem AI do inferencji, czyli obsługi gotowego modelu po wdrożeniu. Stawka jest większa niż kolejny pokaz ambicji. Chodzi o wejście do projektowania własnego krzemu, ograniczenie zależności od Huawei i próbę zbudowania chińskiego zaplecza AI, które nie rozsypie się po kolejnym zaostrzeniu amerykańskich ograniczeń eksportowych.

Wpisujesz pytanie, czekasz kilka sekund i dostajesz odpowiedź. Czasem zaskakująco dobrą. Czasem tak pewną siebie, że trudno od razu zauważyć błąd. I właśnie w tym tkwi największy problem z dzisiejszą sztuczną inteligencją: z zewnątrz wygląda jak rozmowa z kimś, kto rozumie temat, ale pod spodem działa zupełnie inny mechanizm. ChatGPT, Claude czy Gemini nie są wyszukiwarkami, encyklopediami ani cyfrowymi ludźmi po drugiej stronie ekranu. To usługi zbudowane wokół modeli, które przewidują kolejne...

Firma OpenAI długo budowała pozycję wykorzystując cudzy sprzęt pracujący głównie na układach NVIDII. Ten etap nie zniknie z dnia na dzień, ale właśnie zaprezentowano możliwość jego zmiany. Wspólnie z Broadcomem firma pokazała Jalapeño, czyli własny akcelerator do przeprowadzania inferencji modeli językowych. To kosztowny ruch, trudny i spóźniony wobec części rynku, ale trudno go zbyć jako pokazówkę i walkę o obcięcie kosztów.

Rynek akceleratorów AI zaczyna męczyć się własnym rozmachem. Modele rosną, zużycie energii też, a dokładanie kolejnych szaf z GPU przestaje wyglądać jak rozsądna odpowiedź na każdy problem. W takim momencie na scenę wchodzi Tensordyne z układem Napier i obietnicą, że da się pójść inną drogą, czyli zapewnić mniej mnożeń, więcej sprytu w matematyce, dużo SRAM i mniej bólu głowy przy rachunkach za zasilanie oraz chłodzenie.

Google znów dokręca śrubę w wyścigu o infrastrukturę dla sztucznej inteligencji, ale tym razem nie chodzi o prosty wzrost mocy. Firma pokazuje, że rynek dojrzał do momentu, w którym jeden akcelerator przestaje wystarczać do wszystkiego. Za marketingowym hasłem o erze agentów kryje się znacznie bardziej przyziemna sprawa, a mianowicie koszt pojedynczej odpowiedzi, opóźnienia i skala, która zaczyna pożerać budżety centrów danych.

Najciekawsze ruchy w dziedzinie sztucznej inteligencji po raz kolejny dzieją się z dala od sceny i marketingowych slajdów. Tym razem chodzi o firmę Google, kolejną generację TPU i układ sił, który może przesądzić nie tyle o rekordach wydajności, ile o koszcie pojedynczej odpowiedzi modelu. Z pozoru to tylko roszada partnerów związanych z projektowaniem układów. W praktyce widać tu próbę poukładania całego zaplecza AI zupełnie od nowa.

Najciekawsze ruchy na rynku sprzętu związanego ze sztuczną inteligencją coraz rzadziej zaczynają się od prezentacji rekordów wydajności. Czasem wystarczy usunąć jedno wąskie gardło, aby otworzyć sobie szeroko drzwi do wielkich klientów. Huawei właśnie próbuje zrobić to z Ascend 950PR, a stawka jest dużo większa niż kolejny pojedynek slajdów z PFLOPS-ami w tle. Sięga po to co było dotąd jedynie domeną NVIDII.