inferencja

Google znów dokręca śrubę w wyścigu o infrastrukturę dla sztucznej inteligencji, ale tym razem nie chodzi o prosty wzrost mocy. Firma pokazuje, że rynek dojrzał do momentu, w którym jeden akcelerator przestaje wystarczać do wszystkiego. Za marketingowym hasłem o erze agentów kryje się znacznie bardziej przyziemna sprawa, a mianowicie koszt pojedynczej odpowiedzi, opóźnienia i skala, która zaczyna pożerać budżety centrów danych.

Najciekawsze ruchy w dziedzinie sztucznej inteligencji po raz kolejny dzieją się z dala od sceny i marketingowych slajdów. Tym razem chodzi o firmę Google, kolejną generację TPU i układ sił, który może przesądzić nie tyle o rekordach wydajności, ile o koszcie pojedynczej odpowiedzi modelu. Z pozoru to tylko roszada partnerów związanych z projektowaniem układów. W praktyce widać tu próbę poukładania całego zaplecza AI zupełnie od nowa.

Najciekawsze ruchy na rynku sprzętu związanego ze sztuczną inteligencją coraz rzadziej zaczynają się od prezentacji rekordów wydajności. Czasem wystarczy usunąć jedno wąskie gardło, aby otworzyć sobie szeroko drzwi do wielkich klientów. Huawei właśnie próbuje zrobić to z Ascend 950PR, a stawka jest dużo większa niż kolejny pojedynek slajdów z PFLOPS-ami w tle. Sięga po to co było dotąd jedynie domeną NVIDII.