AMD Instinct MI300X - premiera topowego akceleratora CDNA 3 dla rynku AI. Firma chwali się wydajnością względem NVIDIA H100

Dziś (6 grudnia 2023 roku) odbyła się zapowiedziana jakiś czas temu konferencja firmy AMD pod nazwą Advancing AI. Tematem przewodnim była dziedzina sztucznej inteligencji. Na wydarzeniu swoją oficjalną premierę miał akcelerator graficzny z rodziny AMD Instinct MI300, a konkretniej model MI300X. Został on stworzony do obliczeń związanych z AI, a jego konkurencją jest układ NVIDIA H100. Natomiast jednostka od AMD okazuje się aż o 60% wydajniejsza.

AMD ogłosiło wprowadzenie na rynek akceleratora graficznego do zadań związanych ze sztuczną inteligencją. AMD Instinct MI300X ma się okazać aż o 60% wydajniejszy od konkurencyjnego układu NVIDIA H100.

AMD Instinct MI300X cechuje się pokaźnym poborem mocy. Jest sporo wyższy niż w przypadku Instinct MI250X

Tak naprawdę o omawianym akceleratorze graficznym od AMD wiedzieliśmy już niemalże wszystko, a podczas samej prezentacji pokazano dodatkowo, jak wydajny jest AMD Instinct MI300X w różnych zadaniach w bezpośrednim porównaniu ze wspomnianym układem NVIDIA H100. Dla przypomnienia mamy do czynienia z jednostką opartą na architekturze CDNA 3, która korzysta ze 192 GB pamięci HBM3 o przepustowości 5,2 TB/s. AMD Instinct MI300X składa się ze 153 miliardów tranzystorów. Osiem akceleratorów można połączyć w większą całość (AMD Instinct Platform), dzięki czemu uzyskuje się lepszą wydajność. Pod względem samej specyfikacji akcelerator graficzny NVIDIA H100 wypada dużo gorzej i to tak naprawdę pod każdym względem. Przekłada się to również na wyniki, które zaprezentowało AMD.

AMD Instinct MI300A oraz Instinct MI300X - akceleratory graficzne CDNA 3 z maksymalnie 192 GB pamięci HBM3

Moc obliczeniowa FP8 oraz FP16 jest 1,3x większa niż w układzie Zielonych. Jeśli chodzi o obsługę dużych modeli językowych, to AMD Instinct MI300X jest szybszy od omawianego NVIDIA H100 o 20% w przypadku modelu Llama 2 (70 mld parametrów) i aż o 40%, jeśli porównamy obie konfiguracje, które składają się z 8 akceleratorów graficznych. Analogicznie w przypadku modelu Bloom (176 mld parametrów) jest to 40 i 60% (na korzyść AMD). Za działanie układu AMD odpowiada oprogramowanie ROCm, które zostało zaktualizowane do wersji 6.0 i oferuje teraz nowe funkcje związane z obsługą sztucznej inteligencji. Zoptymalizowano także wydajność w dużych modelach językowych (LLM) oraz zadaniach związanych z generatywną AI. Dodano również wsparcie dla formatów obliczeniowych, takich jak FP8, FP16 i Bf16.