Chat with RTX - nowe narzędzie od NVIDII, które pozwoli stworzyć spersonalizowanego chatbota. Dostępne do pobrania za darmo

Chatboty są dziś powszechnie dostępne, natomiast wszystkie zbierają o nas konkretne informacje, a nasze konwersacje nie są zbyt prywatne. Z tego powodu lepszym rozwiązaniem może się okazać korzystanie z danego dużego modelu językowego (LLM), na którym oparte są chatboty, na naszym komputerze. NVIDIA udostępniła właśnie nowe oprogramowanie, które nam to ułatwi i pozwolić wykorzystać możliwości lokalnego chatbota w bardziej spersonalizowany sposób.

Chat with RTX to najnowsze oprogramowanie od firmy NVIDIA, które pozwoli nam na stworzenie dowolnego chatbota (poprzez duży model językowy), który będzie wyróżniał się wiedzą na każde zagadnienie, do jakiego damy mu dostęp. Całość funkcjonuje lokalnie na komputerze, więc o prywatność nie musimy się specjalnie martwić.

Darmowa konkurencja dla ChatGPT - skorzystaj z modelu językowego Llama 2 bezpośrednio na swoim komputerze

Nowość od NVIDII oparta jest na udostępnionym jakiś czas temu oprogramowaniu TensorRT-LLM, ale przy okazji wykorzystuje technikę RAG (retrieval-augmented generation). Omawiane rozwiązanie jest demem technologicznym, które do działania wymaga układów graficznych NVIDIA GeForce RTX z serii 30 i nowszych (z co najmniej 8 GB pamięci VRAM). Chat with RTX pozwala nam więc na lokalną instalację dowolnego dużego modelu językowego, takiego jak Llama 2 lub Mistral, a następnie dodanie dodatkowych źródeł, z którymi będzie się on mógł zapoznać i na ich podstawie udzielać odpowiedzi.

NVIDIA TensorRT-LLM - układy graficzne GeForce RTX z serii 30 i 40 będą teraz wydajniejsze w obsłudze modeli sztucznej inteligencji

Obsługiwane są różnego rodzaju pliki (TXT, PDF, DOC, DOCX i XML), a także konkretne materiały wideo z serwisu YouTube. Możemy więc wskazać określony folder z plikami, a następnie zadawać dowolne pytania, które odnoszą się do treści wszystkich zawartych w nim dokumentów. Analogicznie sytuacja wygląda z treściami wideo na platformie od Google, gdyż wystarczy podać link do danego materiału i już możemy konstruować odpowiednie zapytania. Jeśli posiadamy odpowiedni układ graficzny i chcemy przetestować to rozwiązanie, to możemy je pobrać z oficjalnej stronie NVIDII.