NVIDIA H100 - pochwalono się niezwykłą wydajnością akceleratora. Optymalizacje programowe jeszcze bardziej ją zwiększyły

NVIDIA H100 to akcelerator graficzny przeznaczony głównie do obliczeń powiązanych z rozwojem sztucznej inteligencji. Nie bez powodu uważany jest za najpotężniejszą tego typu jednostkę na rynku. Firma NVIDIA pochwaliła się, jak wypada on na tle poprzedniej generacji sprzętu, a także kilku innych propozycji. Okazuje się też, że po odpowiednim zoptymalizowaniu oprogramowania uzyskana wydajność jest jeszcze bardziej imponująca.

NVIDIA pochwaliła się wydajnością swojego układu H100. Na tle poprzedniej generacji uzyskano nawet czterokrotnie lepsze wyniki. Szybkość GPU została dodatkowo zwiększona poprzez optymalizacje programowe.

Microsoft ND H100 v5 - nowe maszyny wirtualne do obsługi algorytmów AI już wkrótce z akceleratorami NVIDIA H100

Testy przeprowadzono w benchmarku MLPerf Inference v3.0, przeznaczonym do sprawdzania obciążeń i wydajności GPU w zadaniach powiązanych z uczeniem głębokim. Uzyskane rezultaty zostały zestawione z układem NVIDIA A100, a także procesorem Intel Xeon Platinum 8480+, Qualcomm Cloud AI 100 oraz NeuChips RecAccel N3000. We wszystkich przypadkach wnioskowania AI (AI inference) najpotężniejszy układ amerykańskiej firmy okazał się zdecydowanie lepszy. Najbardziej interesujące jest oczywiście porównanie z GPU NVIDIA A100. Podmioty wykorzystujące najnowszy akcelerator, mogą liczyć na wydajność dwukrotnie, a nawet ponad czterokrotnie lepszą, w zależności od konkretnego testu. Porównanie z resztą sprzętu dowodzi zaś, że to właśnie układy graficzne są nadal najlepszym narzędziem do dokonywania obliczeń powiązanych z rozwojem sztucznej inteligencji.

NVIDIA H100 NVL - akcelerator GPU oparty na architekturze Hopper i przygotowany z myślą o popularnym ChatGPT

Okazuje się też, że da się znacząco zwiększyć wydajność układu NVIDIA H100, poprzez odpowiednie optymalizacje na poziomie programowym. Jak przekonuje przedsiębiorstwo z Santa Clara, w przeciągu sześciu miesięcy wydajność akceleratora wzrosła od 7% do aż 54%, w zależności od konkretnego zastosowania. Najlepszy rezultat uzyskano w przypadku zadań związanych z wykrywaniem obiektów (RetinaNet), ale w każdej kategorii odnotowano wyniki lepsze niż pół roku temu. Można przypuszczać, że rozwój oprogramowania będzie dalej postępował, co pozwoli na wydobycie z akceleratora kolejnych ukrytych pokładów wydajności.

NVIDIA skupi się na produkcji układu Hopper H100. To złe wieści dla entuzjastów polujących na GeForce'a RTX 4090

Amerykańska firma pochwaliła się także wynikami swojego bardziej kompaktowego GPU - NVIDIA L4. Jest to bezpośredni następca urządzenia T4, posiadający specjalne funkcje przeznaczone do kodowania wideo z wykorzystaniem algorytmów sztucznej inteligencji. W tym przypadku można liczyć na nawet trzykrotny wzrost wydajności w porównaniu do poprzedniej generacji. Najlepszy rezultat uzyskano w teście BERT 99.9%, powiązanym z przetwarzaniem języka naturalnego (natural language processing). Układ NVIDIA L4 cechuje się dosyć niskim poborem energii, więc może znaleźć zastosowanie wszędzie tam, gdzie brak jest możliwości przeprojektowania systemów komputerowych i ich zasilania.