NVIDIA TensorRT-LLM - układy graficzne GeForce RTX z serii 30 i 40 będą teraz wydajniejsze w obsłudze modeli sztucznej inteligencji
Usług związanych ze sztuczną inteligencją jest obecnie wiele, natomiast jednymi z popularniejszych są chatboty, które funkcjonują w oparciu o duże modele językowe (LLM). Natomiast skorzystanie z nich wiąże się z przesyłaniem danych wejściowych na serwer zewnętrzny, co nie sprzyja prywatności. Inną możliwością jest uruchomienie modeli językowych lokalnie, jednak do sprawnego działania wymaga to odpowiedniej mocy obliczeniowej. NVIDIA chce pomóc użytkownikom w tym zadaniu, więc niebawem udostępni nową wersję biblioteki TensorRT-LLM.
Nadchodząca nowa wersja oprogramowania NVIDIA TensorRT-LLM pozwoli na dużo wydajniejsze wykorzystanie dużych modeli językowych na komputerach osobistych. Warunkiem jest posiadanie układu graficznego NVIDIA GeForce RTX z serii 30 i 40 z co najmniej 8 GB pamięci VRAM.
Czy sztuczna inteligencja zastąpi wkrótce programistów i podstępnie przystąpi do samodzielnej modyfikacji i replikacji?
Nowa edycja biblioteki NVIDIA TensorRT-LLM (v.0.6.0) została zaprezentowana na trwającej jeszcze konferencji Microsoft Ignite (15-16.11.23). Głównymi zmianami będzie obsługa większej liczby modeli LLM (np. Mistral 7B i Nemotron-3 8B), z kolei funkcjonowanie lokalnych odsłon ma być teraz wydajniejsze aż pięciokrotnie. Tak jak wspomniano, z omawianych możliwości skorzystają posiadacze układów NVIDIA GeForce RTX od serii 30, które wyposażono w 8 GB pamięci VRAM i więcej. Odnosi się to również do mobilnych odsłon tych układów graficznych, więc użytkownicy laptopów też zauważą lepszą wydajność w tej kwestii.
NVIDIA chce wykorzystać boom na sztuczną inteligencję. Szykuje się imponujący wzrost podaży układów graficznych
Wprowadzona zostanie także obsługa interfejsu API, który będzie podobny do tego z ChatGPT, co dodatkowo powinno okazać się bardzo przydatne dla programistów. Usprawnień ma się doczekać również biblioteka DirectML, więc osoby korzystające lokalnie z modeli takich jak Llama 2 od Mety, czy też Stable Diffusion, odczują znaczącą poprawę w szybkości ich działania. Nowe oprogramowanie ma być dostępne do pobrania już 21 listopada 2023 roku (dla urządzeń z systemem Microsoft Windows). Jeśli sami chcemy wypróbować działanie modelu Llama 2 lub jakiegokolwiek innego, możemy udać się do tego poradnika.
Powiązane publikacje
![Windows 11 na razie bez kontrowersyjnej funkcji Recall. Microsoft postanowił wstrzymać się z jej udostępnieniem](/files/Image/m165/43906.png)
Windows 11 na razie bez kontrowersyjnej funkcji Recall. Microsoft postanowił wstrzymać się z jej udostępnieniem
47![Basemark GPUScore Breaking Limit - nadchodzi nowy benchmark, który pozwoli przetestować układy graficzne z Ray Tracingiem](/files/Image/m165/43905.png)
Basemark GPUScore Breaking Limit - nadchodzi nowy benchmark, który pozwoli przetestować układy graficzne z Ray Tracingiem
25![Microsoft załatał lukę bezpieczeństwa w sterowniku Wi-Fi Windowsa. Pozwalała na zdalną instalację malware](/files/Image/m165/43896.png)
Microsoft załatał lukę bezpieczeństwa w sterowniku Wi-Fi Windowsa. Pozwalała na zdalną instalację malware
15![Stable Diffusion 3 Medium - pierwszy model obrazu z nowej serii już dostępny. Najbardziej zaawansowana wersja do tej pory](/files/Image/m165/43892.png)
Stable Diffusion 3 Medium - pierwszy model obrazu z nowej serii już dostępny. Najbardziej zaawansowana wersja do tej pory
18![Wysyp nowości od Google dla linii Pixel. Smartfony z serii Google Pixel 8 skorzystają z lokalnej AI i zrobią lepsze zdjęcia](/files/Image/m165/43885.png)