MoE

DeepSeek ponownie mocno naciska na efektywność modeli AI. V4.1 Flash jest pierwszym przedstawicielem nowej architektury Causal Encoder-Decoder, która rozdziela przetwarzanie wejścia i generowanie odpowiedzi. Model ma 552 mld parametrów w backbone'ie MoE, ale podczas prefill aktywuje tylko 8 mld z nich. Jednocześnie DeepSeek ograniczył rozmiar KV cache, zmniejszając wymagania dotyczące HBM do jednej czwartej poprzedniej generacji i SSD do jednej ósmej.

Alibaba Cloud wypuściło model Qwen 3.5-397B-A17B, który ma zamienić globalny wyścig AI w starcie chińskiego open source i zamkniętych rozwiązań z Doliny Krzemowej. Nowy flagowiec wykorzystuje rzadką kombinację liniowej uwagi typu Gated Delta Networks z architekturą Mixture-of-Experts. Efekt? Wydajność zbliżona do GPT-5.2 czy Claude Opus 4.5, ale przy koszcie o 60 procent niższym i prędkości dekodowania nawet 19-krotnie wyższej.

AMD przekroczyło próg, którego nie spodziewaliśmy się zobaczyć tak szybko. Startup Zyphra we współpracy z "czerwonymi" i IBM Cloud wytrenował ZAYA1, pierwszy duży model językowy typu Mixture-of-Experts stworzony całkowicie na platformie AMD, bez udziału układów NVIDII. To nie tylko techniczne osiągnięcie, ale potencjalnie punkt zwrotny w rywalizacji o rynek treningów AI wartych setki miliardów dolarów. Czy AMD z Instinct MI300X jest wiarygodną alternatywą?