Intel Gaudi 3 - zaprezentowano nowy akcelerator graficzny do obsługi AI. Ma być sporo szybszy niż układ NVIDIA H100

Jednym z punktów konferencji Intel Vision 2024 była prezentacja nowej generacji akceleratorów graficznych do obsługi sztucznej inteligencji - Gaudi 3. Niewątpliwie dominującą pozycję na tym rynku posiada NVIDIA, z którą bardzo trudno konkurować nawet posiadając dobrą ofertę. Układ Gaudi 3 z pewnością jednak znajdzie swoich odbiorców, ponieważ ma w określonych zastosowaniach znacząco wyprzedzić pod względem wydajności akcelerator H100.

Intel zaprezentował akceleratory Gaudi 3, które mają zaoferować lepszą wydajność i efektywność energetyczną niż najpopularniejsze obecnie układy do obsługi sztucznej inteligencji - NVIDIA H100.

Intel i Dell budują nowy superkomputer. Wykorzystane zostaną najnowsze procesory Xeon Scalable i akceleratory Habana Gaudi 2

Gaudi 3 będzie bazował na procesie technologicznym TSMC 5 nm i chce rzucić wyzwanie najpopularniejszym obecnie GPU do obsługi sztucznej inteligencji. Całość bazuje w rzeczywistości na dwóch układach, w których umieszczono łącznie 64 rdzenie Tensor. Gaudi 3 został wyposażony także w 128 GB pamięci HBM2e o przepustowości 3,7 TB/s. Akcelerator posiada również 96 MB cache SRAM, które jest dzielone pomiędzy dwa układy. Jak chwali się Intel, przepustowość cache wynosi 12,8 TB/s. Gaudi 3 będzie dostępny w dwóch formatach: OAM oraz PCIe. Pierwszy z nich cechuje się TDP wynoszącym 900 W (a nawet więcej w przypadku chłodzenia cieczą). W przypadku formatu PCIe współczynnik ten wynosi 600 W. Ta odmiana układu ma być chłodzona pasywnie. Do zastosowań mających na celu uzyskanie najwyższej wydajności wykorzystywany będzie przede wszystkim wariant OAM, ale Intel chwali się, że w obu przypadkach szczytowa wydajność wyniesie 1835 TFLOPS FP8.

Intel Battlemage - nowa generacja kart graficznych ARC może pojawić się w podobnym okresie, co układy NVIDIA Blackwell

Z prezentacji amerykańskiej firmy wynika też, że Gaudi 3 zaoferuje średnio 1,5 raza wyższą wydajność niż akcelerator NVIDIA H100 przy treningu modeli językowych i we wnioskowaniu AI. W niektórych przypadkach różnica będzie jednak znacznie większa (w skrajnym przypadku nawet czterokrotnie). Można także liczyć na porównywalną lub nieco wyższą wydajność we wnioskowaniu niż oferuje NVIDIA H200. Całość będzie również charakteryzowała się zauważalnie lepszą efektywnością energetyczną. Mowa tutaj o różnicy sięgającej nawet 40%, jeśli zestawimy Gaudi 3 z H100. Próbki nowych układów pojawią się na rynku jeszcze w pierwszej połowie 2024 roku, ale na realizację większych zamówień trzeba będzie zaczekać do jego drugiej połowy. Dostępne będą także platformy HLB-325 oraz HLFB-325L, które zaoferują wsparcie dla nawet ośmiu akceleratorów tego typu.