Chat with RTX - nowe narzędzie od NVIDII, które pozwoli stworzyć spersonalizowanego chatbota. Dostępne do pobrania za darmo
Chatboty są dziś powszechnie dostępne, natomiast wszystkie zbierają o nas konkretne informacje, a nasze konwersacje nie są zbyt prywatne. Z tego powodu lepszym rozwiązaniem może się okazać korzystanie z danego dużego modelu językowego (LLM), na którym oparte są chatboty, na naszym komputerze. NVIDIA udostępniła właśnie nowe oprogramowanie, które nam to ułatwi i pozwolić wykorzystać możliwości lokalnego chatbota w bardziej spersonalizowany sposób.
Chat with RTX to najnowsze oprogramowanie od firmy NVIDIA, które pozwoli nam na stworzenie dowolnego chatbota (poprzez duży model językowy), który będzie wyróżniał się wiedzą na każde zagadnienie, do jakiego damy mu dostęp. Całość funkcjonuje lokalnie na komputerze, więc o prywatność nie musimy się specjalnie martwić.
Darmowa konkurencja dla ChatGPT - skorzystaj z modelu językowego Llama 2 bezpośrednio na swoim komputerze
Nowość od NVIDII oparta jest na udostępnionym jakiś czas temu oprogramowaniu TensorRT-LLM, ale przy okazji wykorzystuje technikę RAG (retrieval-augmented generation). Omawiane rozwiązanie jest demem technologicznym, które do działania wymaga układów graficznych NVIDIA GeForce RTX z serii 30 i nowszych (z co najmniej 8 GB pamięci VRAM). Chat with RTX pozwala nam więc na lokalną instalację dowolnego dużego modelu językowego, takiego jak Llama 2 lub Mistral, a następnie dodanie dodatkowych źródeł, z którymi będzie się on mógł zapoznać i na ich podstawie udzielać odpowiedzi.
NVIDIA TensorRT-LLM - układy graficzne GeForce RTX z serii 30 i 40 będą teraz wydajniejsze w obsłudze modeli sztucznej inteligencji
Obsługiwane są różnego rodzaju pliki (TXT, PDF, DOC, DOCX i XML), a także konkretne materiały wideo z serwisu YouTube. Możemy więc wskazać określony folder z plikami, a następnie zadawać dowolne pytania, które odnoszą się do treści wszystkich zawartych w nim dokumentów. Analogicznie sytuacja wygląda z treściami wideo na platformie od Google, gdyż wystarczy podać link do danego materiału i już możemy konstruować odpowiednie zapytania. Jeśli posiadamy odpowiedni układ graficzny i chcemy przetestować to rozwiązanie, to możemy je pobrać z oficjalnej stronie NVIDII.
Powiązane publikacje

Microsoft Edge chce nas chronić przed atakami scareware. Pomoże w tym model AI, który działa lokalnie na PC z Windowsem
22
DLSS 4 już dostępne dla wielu gier, które nie wspierają tej techniki. Z opcji DLSS Override w NVIDIA App skorzysta sporo użytkowników
156
Libre Office, czyli darmowy zamiennik Microsoft Office, został pobrany już kilkaset milionów razy. Nowe statystyki od twórców
67
Windows polubi się ze smartfonami Apple iPhone jeszcze bardziej. Szybko sprawdzimy stan baterii, wiadomości i nie tylko
23