Chat with RTX - nowe narzędzie od NVIDII, które pozwoli stworzyć spersonalizowanego chatbota. Dostępne do pobrania za darmo
Chatboty są dziś powszechnie dostępne, natomiast wszystkie zbierają o nas konkretne informacje, a nasze konwersacje nie są zbyt prywatne. Z tego powodu lepszym rozwiązaniem może się okazać korzystanie z danego dużego modelu językowego (LLM), na którym oparte są chatboty, na naszym komputerze. NVIDIA udostępniła właśnie nowe oprogramowanie, które nam to ułatwi i pozwolić wykorzystać możliwości lokalnego chatbota w bardziej spersonalizowany sposób.
Chat with RTX to najnowsze oprogramowanie od firmy NVIDIA, które pozwoli nam na stworzenie dowolnego chatbota (poprzez duży model językowy), który będzie wyróżniał się wiedzą na każde zagadnienie, do jakiego damy mu dostęp. Całość funkcjonuje lokalnie na komputerze, więc o prywatność nie musimy się specjalnie martwić.
Darmowa konkurencja dla ChatGPT - skorzystaj z modelu językowego Llama 2 bezpośrednio na swoim komputerze
Nowość od NVIDII oparta jest na udostępnionym jakiś czas temu oprogramowaniu TensorRT-LLM, ale przy okazji wykorzystuje technikę RAG (retrieval-augmented generation). Omawiane rozwiązanie jest demem technologicznym, które do działania wymaga układów graficznych NVIDIA GeForce RTX z serii 30 i nowszych (z co najmniej 8 GB pamięci VRAM). Chat with RTX pozwala nam więc na lokalną instalację dowolnego dużego modelu językowego, takiego jak Llama 2 lub Mistral, a następnie dodanie dodatkowych źródeł, z którymi będzie się on mógł zapoznać i na ich podstawie udzielać odpowiedzi.
NVIDIA TensorRT-LLM - układy graficzne GeForce RTX z serii 30 i 40 będą teraz wydajniejsze w obsłudze modeli sztucznej inteligencji
Obsługiwane są różnego rodzaju pliki (TXT, PDF, DOC, DOCX i XML), a także konkretne materiały wideo z serwisu YouTube. Możemy więc wskazać określony folder z plikami, a następnie zadawać dowolne pytania, które odnoszą się do treści wszystkich zawartych w nim dokumentów. Analogicznie sytuacja wygląda z treściami wideo na platformie od Google, gdyż wystarczy podać link do danego materiału i już możemy konstruować odpowiednie zapytania. Jeśli posiadamy odpowiedni układ graficzny i chcemy przetestować to rozwiązanie, to możemy je pobrać z oficjalnej stronie NVIDII.
Powiązane publikacje

Duolingo stawia na AI. Chodzi o automatyzację procesów, a także redukcję kontraktorów w edukacyjnej rewolucji
22
Microsoft Recall oraz Click to Do trafiły do zapoznawczej aktualizacji Windowsa 11 dla komputerów Copilot+ AI
17
Dystrybucja OpenMandriva Lx 6.0 Rock już dostępna. Stabilna odsłona z KDE Plasma 6, która oferuje jądro Linux 6.15
28
Windows 11 - kwietniowe aktualizacje systemu i zabezpieczeń powodują błędy BSOD, a także problemy z logowaniem
78