NVIDIA Vera - omówienie architektury procesorów i rdzeni Arm Olympus stawiających na silny pojedynczy wątek dla Agentic AI

Platforma AI NVIDIA Vera Rubin to obecnie jedna z najbardziej zaawansowanych konstrukcji tego typu, łącząca wiele wyspecjalizowanych układów krzemowych i oferująca przepustowości o jakich użytkownik PC może jedynie pomarzyć. NVIDIA uchyliła niedawno rąbka tajemnicy na temat budowy procesora Vera oraz architektury rdzeni Arm Olympus. Zapraszam zatem na szczegółowe omówienie działania tych zaawansowanych jednostek CPU.

Procesor NVIDIA Vera wykorzystuje 88 rdzeni Arm Olympus, które zostały zaprojektowane specjalnie pod specyfikę obliczeń sztucznej inteligencji, stawiając na silny pojedynczy wątek, niskie opóźnienia dostępu do pamięci, szeroki front-end i zaawansowane mechanizmy przewidywania rozgałęzień.

NVIDIA Vera Rubin Superchip - omówienie platformy AI o pięciokrotnie wyższej wydajności niż Grace Blackwell

Omówienie procesora NVIDIA Vera CPU rozpoczniemy od przedstawienia specyfiki zastosowań, dla których został zaprojektowany, następnie przejdziemy do omówienia jego architektury, a w dalszej części skupimy się bezpośrednio na budowie rdzeni NVIDIA Olympus. Platforma NVIDIA Vera Rubin została zaprojektowana przede wszystkim z myślą o obsłudze Agentic AI oraz procesach związanych z trenowaniem nowych modeli uczenia maszynowego. Oba te zastosowania stawiają przed procesorem inne wymagania niż dla klasycznych CPU dla centrów danych. W tradycyjnych systemach serwerowych często największy nacisk kładzie się na maksymalizację liczby rdzeni i wydajności obliczeniowej poprzez równoległe wykonywanie wielu zadań. W przypadku Agentic AI większe znaczenie ma natomiast wydajność pojedynczego wątku, ponieważ każdy agent wykonuje sekwencję zależnych operacji, w których opóźnienie pojedynczego kroku może wpływać na czas wykonania całego procesu.

NVIDIA zaprezentowała platformę Vera Rubin wyposażoną w jednostki Groq LPU, które mają zrewolucjonizować rynek AI

Z tego powodu procesor NVIDIA Vera i rdzenie Olympus zostały zaprojektowane z naciskiem na wysokie IPC (Instructions Per Cycle), niskie i przewidywalne opóźnienia, wysoką przepustowość pamięci przypadającą na pojedynczy rdzeń, efektywną obsługę nieregularnego kodu oraz zaawansowane mechanizmy przewidywania rozgałęzień i szeroki front-end odpowiedzialny za dostarczanie instrukcji do jednostek wykonawczych. Jest to szczególnie istotne, ponieważ obciążenia charakterystyczne dla agentów AI, takie jak środowiska uruchomieniowe agentów, interpretery, kompilatory, systemy analizy grafów oraz frameworki przetwarzania danych, często łączą duży rozmiar kodu z częstymi zmianami przepływu wykonywania programu, wynikającymi z licznych instrukcji warunkowych, skoków oraz dynamicznych decyzji podejmowanych podczas działania aplikacji. W przypadku architektur CPU nieprzystosowanych do tego typu zadań może to prowadzić do niewykorzystania dostępnych zasobów oraz spadku wydajności przetwarzania.

NVIDIA Vera Rubin NVL72 to 72 GPU Rubin, HBM4 o przepustowości 22 TB/s i 10-krotnie niższy koszt tokenu niż w Blackwellu

Procesory NVIDIA Vera mogą pracować zarówno jako samodzielne jednostki CPU w konfiguracji jedno-gniazdowej (single-socket), jak również jako dwa połączone ze sobą procesory za pomocą interfejsu NVLink-C2C (Chip-to-Chip). W konfiguracji jednoprocesorowej CPU Vera udostępnia 96 linii PCIe 6.4 / CXL 3.1 (64 GT/s na linie). W przypadku konfiguracji dwuprocesorowej liczba dostępnych linii wzrasta do 176. NVLink-C2C umożliwia procesorowi A dostęp do danych znajdujących się po stronie procesora B. Interfejs posiada również mechanizm spójności pamięci podręcznej (cache coherency), którego zadaniem jest utrzymanie aktualności danych przechowywanych w pamięci cache obu procesorów. Oznacza to, że jeżeli jeden z procesorów zmieni dane po wykonaniu operacji, drugi procesor nie będzie korzystał z nieaktualnej kopii w jego pamięci cache. Warto wspomnieć, że procesory te wspierają bifurkację linii PCIe, czyli możliwość ich pełnego podziału z połączenia x16 na x8/x4/x2. Interfejs CXL 3.1 bazujący na PCIe 6.4, pozwala na dodatkowe rozszerzenie pamięci operacyjnej RAM dla platformy AI Vera Rubin.

AMD EPYC Venice - procesory serwerowe 6. generacji trafiły już do masowej produkcji. Firma planuje rodzinę CPU EPYC Verano

Istotnym elementem procesorów NVIDIA Vera jest uproszczona topologia pamięci. Firma podkreśla, że każdy procesor jest widziany przez system jako jedna domena NUMA, co oznacza, że w konfiguracji dwuprocesorowej cały system składa się z dwóch węzłów NUMA. Wynika to z zastosowania monolitycznego układu obliczeniowego (monolithic compute die) oraz zunifikowanej pamięci podręcznej na poziomie systemu (unified system-level cache), dzięki czemu pojedynczy procesor nie wymaga zarządzania wieloma lokalnymi obszarami pamięci wewnątrz jednego gniazda. Dla porównania, w procesorach opartych na budowie chipletowej, takich jak AMD EPYC Turin, każdy CCD posiada własną pamięć podręczną L3. Jeżeli rdzeń wymaga danych znajdujących się w innym CCD, komunikacja musi odbyć się poprzez wewnętrzny interconnect (Infinity Fabric), co zwiększa opóźnienia w porównaniu do dostępu lokalnego (w obrębie CCD) i powoduje różnice w czasie dostępu zależne od położenia danych.

NVIDIA dywersyfikuje pamięć dla platformy Vera Rubin. Nanya Technology może dołączyć do Micron Technology i SK hynix

W procesorach opartych na budowie chipletowej, trudniej jest przewidzieć czas wykonania operacji, a scheduler ma trudniejsze zadanie przy rozmieszczaniu wątków, co wpływa na efektywność wykorzystania dostępnych zasobów procesora. NVIDIA zaznacza, że w procesorach Vera opóźnienia i czas komunikacji pomiędzy rdzeniami jest zbliżony do siebie, dzięki czemu zapewniona jest bardziej przewidywalna charakterystyka pracy całego układu, która jest istotna dla Agentic AI. NVIDIA podaje, że procesor Vera zapewnia do 50% niższe opóźnienia komunikacji między rdzeniami niż procesory na architekturze x86 (Intel / AMD), a także do 40% niższe maksymalne opóźnienie dostępu do pamięci i osiąga blisko 90% wykorzystania przepustowości pamięci LPDDR5X pod obciążeniem. Ponadto CPU Vera oferuje 12,7 GB/s przepustowości pamięci na rdzeń pod pełnym obciążeniem, podczas gdy konkurencyjne procesory x86 zapewniają do 3,1 GB/s na rdzeń. Oznacza to, że CPU Vera dysponuje ponad 4x większą przepustowością. Według NVIDIA przepustowość pamięci na rdzeń stanowi lepszy wskaźnik zrównoważenia architektury procesora niż liczba rdzeni, ponieważ rdzenie mogą w pełni wykorzystać swój potencjał tylko wtedy, gdy dane są do nich odpowiednio szybko dostarczane.

* Przepustowość pamięci na rdzeń z oficjalnych danych NVIDIA to 14 GB/s, natomiast w dokumencie whitepaper pod pełnym obciążeniem pojawia się wartość 12,7 GB/s.

Pierwsze procesory AMD Zen 6 zostaną zaprezentowane w tym miesiącu. Nadchodzi debiut układów EPYC Venice

Rdzenie NVIDIA Olympus obsługują Spatial Multithreading, który działa nieco inaczej niż typowe implementacje SMT (Simultaneous Multithreading). Pierwszy wątek rdzenia może w całości skupić się na ciągłym wykonywaniu zadań związanych z Agentic AI lub szkoleniem modelu, natomiast drugi wątek zajmuje się w tym czasie zadaniami systemowymi, takimi jak obsługa asynchronicznych operacji wejścia/wyjścia, komunikacji sieciowej, zarządzania pamięcią czy orkiestracji narzędzi. Istnieje również możliwość wykorzystania obu wątków do wykonywania obliczeń AI, gdy rośnie zapotrzebowanie na zrównoleglenie pracy. Takie rozwiązanie ogranicza efekt określany jako „noisy neighbor”, w którym aktywność jednego wątku obniża wydajność drugiego współdzielącego ten sam rdzeń logiczny. 

Które procesory Intel Nova Lake wykorzystają proces Intel 18A-P, a które TSMC N2P? Nowe informacje wskazują na konkretne SKU

Front End rdzenia Olympus został zaprojektowany w celu utrzymania wysokiej przepustowości instrukcji w złożonych stosach oprogramowania, takich jak PyTorch, przy jednoczesnym ograniczeniu przestojów potoku wykonawczego (pipeline bubbles) spowodowanych błędnymi predykcjami rozgałęzień. NVIDIA Olympus wykorzystuje duże bufory adresów docelowych skoków BTB (Branch Target Buffer) oraz wielopoziomowy system przewidywania rozgałęzień. Oprócz tradycyjnych metod przewidywania rozgałęzień opartych na historii wykonywania instrukcji, zastosowano neuronowy predyktor rozgałęzień. Mechanizm ten uczy się długoterminowych wzorców przepływu wykonywania programu i statystycznie powtarzalnych zachowań rozgałęzień. NVIDIA zaznacza, że rdzeń Olympus może utrzymywać przepustowość do dwóch wykonanych skoków warunkowych na cykl zegara bez strat wydajności. Front End wykorzystuje również szeroki mechanizm dostarczania instrukcji, który może pobrać z 4-drożnej pamięci Cache L1I do 128 bajtów kodu, a następnie przekazać do 16 instrukcji na cykl zegara do 10-drożnego dekodera instrukcji, który dekoduje do 10 instrukcji na cykl zegara.

Intel Nova Lake - Najnowsze informacje wskazują na prace nad kolejnymi dwoma procesorami z pamięcią bLLC

Blok Mid Core jest przez NVIDIA opisany jako stworzony z myślą o maksymalizacji równoległości wykonywania instrukcji i efektywnego wykorzystania zasobów procesora. Wykorzystuje szeroki mechanizm rename i przydzielania instrukcji, duży ROB (Reorder Buffer) oraz rozbudowany zestaw fizycznych rejestrów, aby usuwać sztuczne zależności między instrukcjami i zwiększać IPC rdzenia. Duże okno wykonawcze ma pozwalać na analizowanie wielu instrukcji naprzód i znajdować niezależne zadania podczas oczekiwania na dane z pamięci lub rozstrzygnięcie skoków. Olympus stosuje również memory renaming, który przyspiesza rozwiązywanie zależności typu zapis-odczyt (store-to-load dependency), szczególnie w kodzie wykorzystującym wskaźniki i złożone struktury danych. Mechanizm value prediction umożliwia przewidywanie przyszłych wartości za nim dana operacja się zakończy, co pozwala na wcześniejsze wykonywanie, zależnych od tego wyniku, innych instrukcji. Oczywiście, po wykonaniu pierwszej operacji następuje sprawdzenie i jeżeli predykcja była błędna, jest ona poprawiana.

Procesory Intel Nova Lake z Dual Compute Tile podobno będą miały ekstremalnie wysoki współczynnik PL2

Silnik wykonawczy rdzenia otrzymuje z bloku Mid Core 10 mikrooperacji na cykl zegara. Szerokie zaplecze wykonawcze i mechanizm wykonywania poza kolejnością pozwalają rdzeniowi kontynuować pracę przy opóźnieniach wynikających z dostępu do pamięci lub długich zależności instrukcji. Olympus wykorzystuje osiem prostych jednostek ALU, obsługujących typowe operacje arytmetyczne i logiczne, dwie złożone bloki ALU przyspieszające bardziej wymagające operacje o większym opóźnieniu, takie jak mnożenie, dzielenie, obliczenia CRC oraz operacje wymagające intensywnego przesuwania bitów. Cztery jednostki wykonywania skoków współpracują z zaawansowanym mechanizmem predykcji skoków, aby rozstrzygać decyzje dotyczące przepływu pracy programu i minimalizować zakłócenia w potoku wykonawczym. Dla obliczeń sztucznej inteligencji i wektorowych zastosowano sześć 128-bitowych jednostek SVE (Arm Scalable Vector Extension), w tym dwie z obsługą kryptografii i wsparciem dla precyzji FP8. Jednostki te przyspieszają przetwarzanie danych, uczenie maszynowe, kompresję, szyfrowanie i obliczenia analityczne. Silnik pamięci wykorzystuje cztery potoki odczytu i dwa zapisu, mające zapewniać wysoki poziom równoległości dla operacji na danych.

NVIDIA Vera Rubin - Morgan Stanley Research podaje szacunkowe koszty pojedynczej szafy NVL72, wzrost ceny pamięci aż o 435%

Podsystem cache został zaprojektowany tak, aby zapewnić stały dopływ instrukcji i danych do jednostek obliczeniowych przy jednoczesnym ograniczeniu opóźnień pamięci. Najbliżej silnika wykonawczego znajduje się 96 KB pamięci Cache L1D dla danych, a wyżej hierarchi 2 MB pamięci Cache L2 wspólnej dla danych i instrukcji. Rdzeń Olympus wykorzystuje wyspecjalizowane prefetchery obsługujące m.in. strumieniowy dostęp do danych (stream prefetching), pośrednie odwołania poprzez indeksy i wskaźniki (indirect prefetching), zależności między nietrafieniami cache (correlated-miss prefetching) i przewidywanie sąsiednich danych (spatial prefetching). NVIDIA szczególnie skupiła się na graph prefetchingu, gdyż jest on przeznaczony dla obciążeń wykorzystujących złożone struktury grafowe i intensywne użycie wskaźników.

NVIDIA Vera Rubin oraz Rosa Feynman trafią do PC w 2028 i 2030 roku. Firma ogłasza plany na rozwój segmentu SoC pod Windows

Tradycyjne mechanizmy prefetchingu dobrze radzą sobie z przewidywalnymi wzorcami dostępu do pamięci, np. gdy program odczytuje kolejne elementy tablicy po kolei. Problem pojawia się wtedy, gdy adres kolejnych danych nie jest znany i zależy od wyniku wcześniejszego odczytu. Przykładem jest operacja A [ B [ i ] ], gdzie procesor najpierw musi pobrać wartość B [ i ], aby dowiedzieć się, który element tablicy A należy odczytać. Graph Prefetcher uczy się takich zależności pomiędzy danymi i rozpoznaje, że określony odczyt prowadzi do kolejnego dostępu do pamięci. Po wykryciu powtarzalnego wzorca może wcześniej rozpocząć pobieranie potrzebnych danych, zanim procesor faktycznie ich zażąda.

NVIDIA Vera CPU w pierwszych testach wyprzedza serwerowe procesory Intel Xeon Granite Rapids oraz AMD EPYC Turin

Słowem końca można wspomnieć również o wydajności, jaką deklaruje NVIDIA, bowiem procesor Vera ma zapewniać od 1,6x do 1,9x wyższe IPC pojedynczego wątku, od 1,7x do 2,3x większą liczbę predykcji skoków na cykl, od 1,9x do 3,5x więcej wykonywanych skoków na cykl, od 1,9x do 2,4x wyższą przepustowość pobierania instrukcji oraz od 2,3x do 4,3x większą liczbę operacji backendu na cykl względem CPU AMD EPYC 9975 w konfiguracji dwu procesorowej. W zadaniach analitycznych w benchmarku ClickHouse, Vera osiąga do 1,2x wyższą wydajność, natomiast w uczeniu ze wzmocnieniem do 1,8x wyższe wyniki. Procesor oferuje również do 60% niższe opóźnienie pamięci Cache L3, ponad 3x większą całkowitą przepustowość pamięci. Reasumując, procesor NVIDIA Vera został zaprojektowany i zoptymalizowany przede wszystkim pod kątem szkolenia modeli AI, zastosowań Agentic AI oraz inferencji, stanowiąc integralną część całej platformy AI Vera Rubin. Architektura ta pokazuje również, jak wiele niewielkich usprawnień od front-endu, przez predykcję skoków, wykonanie poza kolejnością, aż po przepustowość danych, może w skali całego systemu przełożyć się na znaczący wzrost wydajności.