NVIDIA TensorRT-LLM - układy graficzne GeForce RTX z serii 30 i 40 będą teraz wydajniejsze w obsłudze modeli sztucznej inteligencji

Usług związanych ze sztuczną inteligencją jest obecnie wiele, natomiast jednymi z popularniejszych są chatboty, które funkcjonują w oparciu o duże modele językowe (LLM). Natomiast skorzystanie z nich wiąże się z przesyłaniem danych wejściowych na serwer zewnętrzny, co nie sprzyja prywatności. Inną możliwością jest uruchomienie modeli językowych lokalnie, jednak do sprawnego działania wymaga to odpowiedniej mocy obliczeniowej. NVIDIA chce pomóc użytkownikom w tym zadaniu, więc niebawem udostępni nową wersję biblioteki TensorRT-LLM.

Nadchodząca nowa wersja oprogramowania NVIDIA TensorRT-LLM pozwoli na dużo wydajniejsze wykorzystanie dużych modeli językowych na komputerach osobistych. Warunkiem jest posiadanie układu graficznego NVIDIA GeForce RTX z serii 30 i 40 z co najmniej 8 GB pamięci VRAM.

Czy sztuczna inteligencja zastąpi wkrótce programistów i podstępnie przystąpi do samodzielnej modyfikacji i replikacji?

Nowa edycja biblioteki NVIDIA TensorRT-LLM (v.0.6.0) została zaprezentowana na trwającej jeszcze konferencji Microsoft Ignite (15-16.11.23). Głównymi zmianami będzie obsługa większej liczby modeli LLM (np. Mistral 7B i Nemotron-3 8B), z kolei funkcjonowanie lokalnych odsłon ma być teraz wydajniejsze aż pięciokrotnie. Tak jak wspomniano, z omawianych możliwości skorzystają posiadacze układów NVIDIA GeForce RTX od serii 30, które wyposażono w 8 GB pamięci VRAM i więcej. Odnosi się to również do mobilnych odsłon tych układów graficznych, więc użytkownicy laptopów też zauważą lepszą wydajność w tej kwestii.

NVIDIA chce wykorzystać boom na sztuczną inteligencję. Szykuje się imponujący wzrost podaży układów graficznych

Wprowadzona zostanie także obsługa interfejsu API, który będzie podobny do tego z ChatGPT, co dodatkowo powinno okazać się bardzo przydatne dla programistów. Usprawnień ma się doczekać również biblioteka DirectML, więc osoby korzystające lokalnie z modeli takich jak Llama 2 od Mety, czy też Stable Diffusion, odczują znaczącą poprawę w szybkości ich działania. Nowe oprogramowanie ma być dostępne do pobrania już 21 listopada 2023 roku (dla urządzeń z systemem Microsoft Windows). Jeśli sami chcemy wypróbować działanie modelu Llama 2 lub jakiegokolwiek innego, możemy udać się do tego poradnika.