NVIDIA Rubin - omówienie architektury akceleratorów GPU zaprojektowanych dla Mixture of Experts i Agentic AI

NVIDIA niedawno uchyliła rąbka tajemnicy na temat budowy i architektury akceleratorów GPU Rubin, które stanowią "mózgi" całej platformy AI NVIDIA Vera Rubin. To właśnie na nich uruchamiane są najbardziej zaawansowane modele sztucznej inteligencji Mixture of Experts oraz systemy Agentic AI. Przyjrzyjmy się szczegółowo jednym z najbardziej zaawansowanych akceleratorów AI na świecie, które wyznaczają kierunek rozwoju współczesnej sztucznej inteligencji.

Akcelerator NVIDIA Rubin został zaprojektowany do efektywnej obsługi modeli MoE (Mixture of Experts) i Agentic AI. GPU zoptymalizowano pod kątem niskich opóźnień, szybkiej komunikacji GPU-GPU, wysokiej przepustowości generowania tokenów oraz obsługi długich kontekstów.

NVIDIA Vera - omówienie architektury procesorów i rdzeni Arm Olympus stawiających na silny pojedynczy wątek dla Agentic AI

Omówienie architektury akceleratorów AI NVIDIA Rubin rozpoczniemy podobnie jak analizę procesorów NVIDIA Vera oraz rdzeni Arm Olympus, przedstawiając najpierw specyfikę zastosowań, do których zostały zaprojektowane. NVIDIA opracowała architekturę Rubin z myślą o maksymalizacji wydajności modeli MoE (Mixture of Experts) oraz systemów Agentic AI. Oznaczało to konieczność zoptymalizowania układów pod kątem niskich opóźnień na każdym etapie przetwarzania, wysokiej przepustowości generowania tokenów (decode throughput), wydajnej obsługi długich okien kontekstowych (long-context attention), dużej pojemności pamięci KV Cache oraz możliwości efektywnego skalowania modeli pomiędzy wieloma połączonymi procesorami GPU. Wymagania te wynikają ze specyfiki tych modeli i systemów AI, które potrafią prowadzić wieloetapowe rozumowanie, planować działania, korzystać z zewnętrznych narzędzi, weryfikować wyniki pośrednie oraz wykonywać złożone zadania w oparciu o obszerne zbiory danych. W przypadku modeli Mixture of Experts równie istotnym wyzwaniem było zapewnienie bardzo szybkiego wyboru odpowiedniego eksperta, czyli wyspecjalizowanego submodelu AI przeznaczonego do realizacji konkretnych zadań.

NVIDIA Vera Rubin Superchip - omówienie platformy AI o pięciokrotnie wyższej wydajności niż Grace Blackwell

Akcelerator NVIDIA Rubin GPU składa się z ośmiu bloków GPC (Graphics Processor Clusters), które łącznie zawierają 336 miliardów tranzystorów, 224 multiprocesory strumieniowe SM (Streaming Multiprocessors) oraz 896 rdzeni Tensor. Taka konfiguracja zapewnia układowi wydajność sięgającą do 50 petaflopsów wnioskowania w formacie NVFP4. Każdy blok GPC wykorzystuje trzecią generację Transformer Engine, która umożliwia dynamiczne dostosowywanie precyzji obliczeń pomiędzy różnymi formatami numerycznymi. Pozwala to zwiększyć efektywność obliczeń AI przy jednoczesnym zachowaniu wymaganej dokładności wyników. Pomiędzy blokami Graphics Processor Clusters rozmieszczono cztery segmenty współdzielonej, scentralizowanej pamięci Cache L2. NVIDIA nie podała oficjalnie jej całkowitej pojemności, jednak według przewidywań może ona wynosić około 128 MB.

NVIDIA zaprezentowała platformę Vera Rubin wyposażoną w jednostki Groq LPU, które mają zrewolucjonizować rynek AI

Centralne części układu zajmują dwa bloki GigaThread Engine, odpowiedzialne za zarządzanie pracą oraz harmonogramowanie zadań pomiędzy poszczególnymi jednostkami wykonawczymi GPU. W pobliżu centralnych bloków GPC znajdują się również dwa segmenty MIG (Multi-Instance GPU) Control, które umożliwiają logiczne podzielenie pojedynczego procesora graficznego na wiele niezależnych instancji i pozwalając na jednoczesne wykonywanie różnych obciążeń. Pomiędzy zewnętrznymi blokami GPC rozmieszczono również dekodery NVDEC, odpowiedzialne za sprzętową realizację operacji dekodowania danych. Na górnej i dolnej krawędzi schematu znajdują się natomiast kontrolery pamięci HBM4. Łącznie osiem kontrolerów obsługuje do 288 GB pamięci HBM4, zapewniając maksymalną przepustowość na poziomie 22 TB/s, co stanowi o 2,8-krotny wzrost względem architektury Blackwell.

NVIDIA Vera Rubin - Morgan Stanley Research podaje szacunkowe koszty pojedynczej szafy NVL72, wzrost ceny pamięci aż o 435%

Podsystem pamięci został dodatkowo wyposażony w ulepszony mechanizm TMA (Tensor Memory Accelerator), który odpowiada za efektywne przemieszczanie danych pomiędzy pamięcią HBM4, pamięcią podręczną oraz lokalnymi buforami jednostek obliczeniowych, a także za obsługę złożonych struktur danych wykorzystywanych przez modele MoE i systemy Agentic AI. W architekturze Rubin GPU wprowadzono obsługę funkcji inline descriptor updates dla mechanizmu TMA. Zamiast modyfikować deskryptor zapisany w pamięci, jądro obliczeniowe (kernel) może wykorzystywać jeden wspólny deskryptor dla wielu tensorów posiadających identyczny układ danych, a parametry takie jak wskaźnik do obszaru pamięci (memory pointer) oraz krok adresowania (stride) mogą być dynamicznie nadpisywane bezpośrednio w instrukcji TMA podczas wykonywania programu. Rozwiązanie to znacząco ogranicza narzut związany z zarządzaniem deskryptorami i jest szczególnie istotne w przypadku modeli MoE, w których tokeny są dynamicznie kierowane pomiędzy wieloma wyspecjalizowanymi ekspertami, a ich wagi mogą znajdować się w różnych lokalizacjach pamięci. Pozwala to skrócić czas dostępu do parametrów ekspertów i przeznaczyć większą część czasu pracy GPU na właściwe obliczenia.

NVIDIA Vera Rubin NVL72 to 72 GPU Rubin, HBM4 o przepustowości 22 TB/s i 10-krotnie niższy koszt tokenu niż w Blackwellu

Komunikacja zewnętrzna akceleratora AI Rubin realizowana jest poprzez bloki umieszczone na krawędziach układu. Po prawej stronie GPU znajduje się interfejs NVIDIA NVLink 6, który zapewnia do 3,6 TB/s przepustowości komunikacji typu scale-up z przełącznikiem NVLink Switch. Rozwiązanie to umożliwia komunikację GPU-GPU typu all-to-all, czyli bezpośrednią wymianę danych pomiędzy wszystkimi akceleratorami w ramach całej platformy AI Vera Rubin, co zostało szerzej omówione w TYM miejscu. W tym samym obszarze znajduje się również interfejs PCIe 6.4 x16, zapewniający przepustowość do 256 GB/s i odpowiadający za komunikację z CPU Vera.

NVIDIA RTX Spark - Pierwsze testy wydajności procesora w Cinebench 2026 wskazują na poziom Apple M3 Max

Po przeciwnej stronie akceleratora umieszczono interfejs NVLink-C2C (Chip-to-Chip) o przepustowości 1,8 TB/s, przeznaczony do szybkiej komunikacji pomiędzy układami GPU umieszczonymi na tym samym PCB. Interfejs posiada również mechanizm spójności pamięci podręcznej (cache coherency), którego zadaniem jest utrzymanie aktualności danych przechowywanych w pamięci cache obu akceleratorów. Oznacza to, że jeżeli jeden z układów zmieni dane po wykonaniu operacji, to drugi GPU nie będzie korzystał z nieaktualnej kopii w jego pamięci cache. Warto również wspomnieć o mechanizmie Confidential Computing z technologią TEE-I/O (Trusted Execution Environment I/O), który został zaprojektowany w celu zabezpieczenia danych podczas przechowywania, transmisji oraz w trakcie przetwarzania w całym serwerze AI.

NVIDIA RTX Spark - Oficjalne sterowniki dla Windows 11 on ARM potwierdzają specyfikację dwóch wersji SoC

NVIDIA opisuje, że akcelerator AI Rubin podwaja przepustowość rdzeni Tensor w jednym cyklu zegara poprzez zwiększenie ilości danych przetwarzanych wzdłuż wymiaru K (K dimension) podczas operacji macierzowych GEMM (General Matrix Multiply). Wymiar K jest wymiarem redukcji, który określa liczbę elementów wymagających pomnożenia i zsumowania przy obliczaniu pojedynczego elementu macierzy wynikowej. W praktyce oznacza to, że większy zakres przetwarzania wzdłuż osi K pozwala wykonać tę samą operację GEMM przy mniejszej liczbie kolejnych iteracji. Optymalizacja poprawia wydajność nie tylko jąder obliczeniowych ograniczanych przez maksymalną przepustowość jednostek wykonawczych (throughput-bound kernels), ale również tych, których wydajność ogranicza dostęp do pamięci (memory-bound kernels) lub opóźnienia wykonywania kolejnych etapów obliczeń (latency-bound kernels).

Deepfake nie ma szans? NVIDIA pokazuje narzędzie, które łapie fałszywe wideo z 92-procentową skutecznością w 22 milisekundy

Jest to szczególnie istotne podczas skalowania modeli AI na wiele układów GPU. W przypadku tensor parallelism obliczenia są dzielone pomiędzy wiele akceleratorów, przez co każdy GPU otrzymuje mniejszy fragment wymiarów wyjściowych macierzy, natomiast wymiar redukcji K często pozostaje bardzo duży. Zwiększenie ilości danych przetwarzanych jednocześnie wzdłuż osi K pozwala ograniczyć liczbę iteracji wymaganych do wykonania całej operacji. Przykładowo operacja GEMM, która na architekturze Blackwell wymagała czterech iteracji pętli K, na architekturze Rubin może zostać wykonana w dwóch iteracjach. Mniejsza liczba cykli przetwarzania zmniejsza narzut związany z obsługą pętli, zwiększa wykorzystanie rdzeni Tensor oraz poprawia efektywność operacji GEMM zarówno podczas przetwarzania wejściowego kontekstu (context phase), jak i generowania kolejnych tokenów (decode phase).

NVIDIA DLSS 5 - Firma ujawnia szczegóły działania techniki renderowania neuronowego podczas konferencji SIGGRAPH

NVIDIA poczyniła również ulepszenia w zakresie działania mechanizmu attention, łącząc techniki rzadkości aktywacji (activation sparsity) i adaptacyjnej kompresji (adaptive compression). Jednym ze sposobów wykorzystania tych mechanizmów jest zastosowanie techniki strukturalnej rzadkości (structured sparsity) podczas obliczeń attention. Proces rozpoczyna się od wykonania gęstej operacji Q x Kᵀ (Query-Key transpose), która generuje pośrednie wyniki uwagi (attention scores). Następnie akcelerator Rubin może pobrać te dane z pamięci Tensorów (Tensor Memory) i przekształcić je do skompresowanego formatu 2:4 (structured 2:4 sparse format), zapisując zarówno niezerowe wartości, jak i metadane. Dzięki temu ograniczany jest koszt zapisu wyników oraz wymagania dotyczące pamięci, a kolejne etapy mechanizmu attention mogą wykonywać obliczenia na mniejszej ilości danych, zachowując jednocześnie gęsty format wyjściowy (dense output) wymagany przez pozostałe elementy modelu. Rezultatem jest zwiększenie wydajności przetwarzania długich kontekstów i zmniejszenie zapotrzebowania na przepustowość pamięci.

Uważasz, że Multi Frame Generation x6 to wciąż za mało? AMD pracuje nad generatorem klatek w wersji do x8 włącznie

Opisany mechanizm bezpośrednio przyspiesza obliczanie funkcji softmax oraz drugą operację GEMM (General Matrix Multiply) mechanizmu attention. Funkcja softmax wykonuje obliczenia wyłącznie na niezerowych wartościach wyników uwagi (attention scores), natomiast kolejne mnożenie przez macierz V (Value) wykorzystuje rzadkie operacje MMA (Sparse Matrix Multiply-Accumulate), korzystając z wartości wygenerowanych przez softmax i z metadanych utworzonych podczas kompresji. Ogranicza to liczbę wykonywanych operacji oraz ilość przesyłanych danych podczas najbardziej wymagającej części mechanizmu long-context attention, zwiększając efektywność energetyczną liczoną jako ilość generowanych tokenów na wat. NVIDIA dodatkowo zwiększyła przepustowość funkcji softmax, bowiem wraz ze wzrostem wydajności rdzeni Tensor, funkcja ta stała się wąskim gardłem inferencji. W porównaniu z architekturą Blackwell, architekutra Rubin zapewnia 2x wyższą przepustowość obliczeń wykładniczych dla FP32 oraz 4x wyższą dla BF16 i FP16, dzięki czemu obliczenia funkcji softmax mogą nadążyć za szybszymi operacjami macierzowymi.

Linus Torvalds broni AI w jądrze Linuksa. Sashiko od Google wykrywa mnóstwo błędów, których wcześniej nie wyłapali ludzie

NVIDIA zoptymalizowała również wykonywanie kolejnych jąder obliczeniowych (kernels). Podczas inferencji jeden kernel zapisuje dane aktywacji do pamięci, a kolejny wykorzystuje je do wygenerowania następnego tokenu. W tradycyjnym modelu producer-consumer prowadzi to do przestojów (GPU timeline bubbles), ponieważ kolejny kernel musi oczekiwać na zakończenie pracy poprzedniego. Architektura Blackwell częściowo ograniczyła ten problem dzięki mechanizmowi Programmatic Dependent Launch. Architektura Rubin umożliwia jednak uruchamianie zależnych od siebie kreneli natychmiast po udostępnieniu wymaganych fragmentów danych aktywacji. Zmniejsza to opóźnienia, zwiększa nakładanie wykonywania zadań (kernel overlap) i poprawia przepustowość inferencji, szczególnie w systemach Agentic AI.

Apple M7 Ultra ma być potworem do AI. Producent podobno celuje w 1,5 TB zunifikowanej pamięci

Architektura Rubin została zaprojektowana tak, aby usprawnić przepływ wag modeli (weights), danych aktywacji (activations), danych KV Cache oraz komunikację pomiędzy blokami GPC, układami GPU na pojedynczym PCB i w całej platformie NVIDIA Vera Rubin. NVIDIA skupiła się na tym obszarze, ponieważ wraz ze wzrostem rozmiarów modeli AI oraz liczby współpracujących GPU komunikacja stała się jednym z głównych ograniczeń wydajności. GPU Rubin umożliwia wykonywanie operacji komunikacyjnych bezpośrednio wewnątrz jąder obliczeniowych (kernels), bez konieczności realizacji sterowania przez CPU. Dzięki temu GPU może jednocześnie prowadzić obliczenia oraz przesyłać dane lub wykonywać operacje redukcji przez NVLink do innych akceleratorów AI. Tradycyjna komunikacja GPU-GPU wymaga dodatkowej synchronizacji, co zwiększa opóźnienia i ogranicza przepustowość interkonektu. NVIDIA Rubin wykorzystuje mechanizm Counted Writes, dla komunikacji NVLink inicjowanej przez chip (device-initiated communication), umożliwiający śledzenie zakończenia transferów przez układ odbierający. 

Nie GPU i nie sam prąd. To woda staje się jednym z głównych kosztów centrów danych i właśnie pękła kolejna iluzja branży

W przypadku Agentic AI i modeli MoE efektywność energetyczna przestaje być problemem pojedynczego układu GPU i musi być postrzegana w skali całego systemu. Platforma Vera Rubin NVL72 integruje w jednej szafie serwerowej zasoby obliczeniowe, infrastrukturę sieciową, chłodzenie cieczą, inteligentne zarządzanie zasilaniem (Power Steering) oraz system Intelligent Power Smoothing współpracujący z magazynami energii. Podczas obciążeń AI dynamiczne zmiany zapotrzebowania na energię mogą powodować krótkotrwałe skoki poboru mocy, ograniczając wykorzystanie infrastruktury. Mechanizm SoC (State of Charge) w systemie Intelligent Power Smoothing kompensuje te wahania, zmniejszając średnie zużycie energii o około 10% względem wcześniejszych technik wygładzania krzywej poboru mocy oraz redukując 50-milisekundowe piki mocy o około 20%. Według NVIDIA stabilniejszy profil energetyczny pozwala ograniczyć wymagania dotyczące maksymalnej mocy, odciążyć infrastrukturę zasilającą i zwiększyć liczbę jednostek obliczeniowych pracujących w tym samym budżecie energetycznym.

DeepSeek projektuje własny chip AI do inferencji. Ruch wymuszony sankcjami USA i słabością chińskiego zaplecza produkcyjnego

Na poziomie całej platformy AI NVIDIA Vera Rubin oprogramowanie DSX MaxLPS zarządza przydziałem mocy pomiędzy procesorami GPU, szafami serwerowymi, pętlami chłodzenia cieczą o temperaturze 45 stopnii oraz wykonywanymi obciążeniami. Z kolei DSX OS odpowiada za harmonogramowanie zadań, zarządzanie infrastrukturą oraz monitorowanie stanu systemu. Celem obu rozwiązań jest ograniczenie niewykorzystanej mocy (stranded power), co pozwala efektywniej wykorzystać dostępny budżet energetyczny. Według danych NVIDIA zastosowanie DSX MaxLPS umożliwia instalację i/lub wykorzystanie o 40% większej liczby chipów GPU przy zachowaniu tego samego, docelowego limitu mocy.

NVIDIA Vera Rubin oraz Rosa Feynman trafią do PC w 2028 i 2030 roku. Firma ogłasza plany na rozwój segmentu SoC pod Windows

Słowem podsumowania warto zauważyć, że platforma NVIDIA Vera Rubin została zaprojektowana jako spójny system, którego integracja rozpoczyna się już na poziomie architektury krzemowej. Procesory NVIDIA Vera oraz akceleratory Rubin współprojektowano z myślą o obciążeniach związanych z modelami MoE i Agentic AI, gdzie kluczowe znaczenie mają niskie opóźnienia, wysoka przepustowość komunikacji i efektywne skalowanie inferencji. Architektura Rubin koncentruje się na minimalizacji kosztów przemieszczania danych, komunikacji bezpośrednio pomiędzy procesorami GPU oraz ograniczeniu narzutu synchronizacji. Dzięki temu wiele akceleratorów AI może pracować niczym jeden duży układ obliczeniowy. Według danych NVIDIA przekłada się to na nawet 10-krotnie wyższą przepustowość obciążeń Agentic AI na sekundę na GW, co pozwala obsłużyć znacznie większą liczbę jednocześnie działających agentów AI przy tym samym budżecie energetycznym niż w architekturze Blackwell.