NVIDIA H200 - nowy akcelerator z pamięcią HBM3e. Firma zapowiada także superkomputer Jupiter z układami GH200

NVIDIA w ostatnich latach coraz mocniej stawia nacisk na wykorzystywanie układów graficznych w obliczeniach ściśle powiązanych ze sztuczną inteligencją. Ostatnie generacje profesjonalnych akceleratorów bardziej skręciły właśnie w stronę AI, co widać chociażby po układach NVIDIA A100 czy H100. W przyszłym roku na rynku zadebiutuje kolejna generacja - B100 - tymczasem przedsiębiorstwo prezentuje jeszcze mocniejszy wariant H200, oparty na architekturze Hopper, a także eksaskalarny superkomputer Jupiter.

Akcelerator graficzny NVIDIA H200 jako pierwszy skorzysta z pamięci typu HBM3e o imponującej przepustowości. Dodatkowo zapowiedziano eksaskalarny superkomputer Jupiter, wykorzystujący układy GH200 Grace Hopper. Ujawniono ponadto wstępną wydajność układu B100 Blackwell.

NVIDIA DGX GH200 - zapowiedziano platformę komputerową w pełni korzystającą z zalet superchipów Grace Hopper

NVIDIA H200 jest rozwinięciem układu H100, opartego na architekturze Hopper i zaprezentowanego jeszcze w 2022 roku. Nowy akcelerator został wyposażony w 141 GB pamięci HBM3e i jest to jeden z pierwszych układów, który skorzysta z (obecnie) najszybszej pamięci. Przepustowość takiego rozwiązania wynosi 4.8 TB/s. Oprócz pojedynczych układów H200, NVIDIA zaprezentowała także stacje HGX H200, gdzie każda taka stacja skorzysta z czterech lub ośmiu układów H200. Taki zestaw zaoferuje łącznie 1.1 TB pamięci HBM3e (w konfiguracji 8x) lub 564 GB (w wariancie 4x). Stacje HGX H200 zostaną wykorzystane przez takie podmioty jak m.in. Amazon Web Services, Google Cloud, Microsoft Azure oraz Oracle Cloud Infrastructure. Na jaki wzrost wydajności względem H100 można tutaj liczyć? NVIDIA podaje, iż w przypadku wnioskowania LIama2 (wnioskowanie z wykorzystaniem 70 miliardów parametrów) wzrost wydajności w H200 będzie o 90% wyższy w porównaniu z układem NVIDIA H100. Spore zwiększenie wydajności dotyczy także wnioskowania w GPT-3 z użyciem 175 miliardów parametrów - tutaj wzrost szacuje się na 60% względem H100. Dostępność akceleratorów H200 planowana jest na drugi kwartał 2024 roku.

NVIDIA GH200 - układ zostanie wyposażony w pamięć HBM3e o imponującej przepustowości nawet 10 TB/s

NVIDIA poinformowała ponadto, iż układy GH200 Grace Hopper będą napędzały nowy, eskaskalarny superkomputer o nazwie Jupiter. Będzie on zlokalizowany w ośrodku Forschungszentrum Jülich w Niemczech w ramach wspólnego przedsięwzięcia EuroHPC i zakontraktowany firmom Eviden i ParTec. Superkomputer Jupiter będzie wykorzystywany m.in. do analizy wpływu chemicznej i fizycznej struktury materiałów na ich właściwości elektryczne, do badań klimatu czy odkrywania nowych leków. Jupiter zostanie wyposażony w 24 tysiące układów GH200 Grace Hopper, co przekłada się również na obecność blisko 7 milionów rdzeni ARM Neoverse (dokładnie to 6 912 000 rdzeni). Zaprezentowany superkomputer ma zaoferować wydajność na poziomie 90 eksaflopów w kontekście obliczeń opartych na trenowaniu AI. Uruchomienie Jupitera planowane jest na 2024 rok, ale jeszcze bez konkretniejszych terminów.

NVIDIA Blackwell B100 - firma rozpoczęła certyfikację łańcucha dostaw dla serwerowych układów

Mimo że NVIDIA chwali się wydajnością swoich układów H100 czy H200 z generacji Hopper, to jednocześnie przedsiębiorstwo nawet nie kryje się z nadchodzącą wielkimi krokami premierą. Mowa w tym wypadku o architekturze Blackwell oraz akceleratorze B100. Jeden z opublikowanych slajdów dotyczy właśnie tego układu i jego możliwości w zakresie wnioskowania w GPT-3 z użyciem 175 miliardów parametrów. Nowy akcelerator ma pod tym względem być ponad dwukrotnie wydajniejszy od dopiero co zapowiedzianego układu H200 (a ten z kolei jak już wspomnieliśmy, w tym samym zastosowaniu jest o 60% mocniejszy od H100). Szykuje się zatem kolejny bardzo duży skok wydajności w obliczeniach związanych ze sztuczną inteligencją.