Jak skorzystać z DeepSeek-R1 za darmo? Lokalna instalacja nowych modeli AI jest bardzo prosta. Zobacz krótki poradnik

Rodzina dużych modeli językowych DeepSeek-R1 wciąż wywołuje niemałe poruszenie na świecie. Nawet bezpośrednia konkurencja, a więc OpenAI, przyznała, że możliwości flagowego modelu z tej serii są "imponujące" - szczególnie jeśli zestawimy je z kosztami, jakie trzeba ponieść przez korzystanie z interfejsu API (kwota za milion wyjściowych tokenów to zaledwie ułamek tego, co trzeba zapłacić w przypadku modelu OpenAI o1). Firma DeepSeek udostępniła wszystkie modele z nowej linii zupełnie za darmo i możemy z nich skorzystać na swoim własnym komputerze. Nie warto się nastawiać na to, że sprawdzimy największy model, ale zapewne będziemy w stanie lokalnie uruchomić mniejsze warianty.

Modele z rodziny DeepSeek-R1 są dostępne za darmo i łatwo można z nich skorzystać na swoim komputerze. Wystarczy chwila, aby stworzyć chatbota, który będzie działał lokalnie, więc o prywatność nie trzeba się martwić.

DeepSeek zmienia oblicze rynku AI przez serię DeepSeek-R1. NVIDIA traci miliardy dolarów, a pozycja OpenAI wydaje się zagrożona

Do lokalnego uruchomienia nowych dużych modeli językowych od firmy DeepSeek wystarczy posłużyć się programem o nazwie Ollama. To darmowe oprogramowanie daje nam dostęp do pokaźnej bazy LLM, które można w bardzo łatwy sposób pobierać, a następnie z nich korzystać. Najpierw musimy przejść pod ten adres i nacisnąć przycisk Download. Ollama dostępna jest dla różnych dystrybucji opartych na jądrze Linux, a także systemu macOS oraz Windows. W pierwszym przypadku wystarczy uruchomić terminal i wykonać widoczne na stronie polecenie. W dwóch ostatnich po prostu pobieramy instalator, włączamy go i przechodzimy przez standardowy proces instalacji. Tuż po niej wystarczy uruchomić terminal i wpisać polecenie ollama pull nazwa_modelu. Kiedy wybrany przez nas model zostanie pobrany, wpisujemy ollama run nazwa_modelu, aby zacząć z niego korzystać.

GPT-4o mini - nowy model językowy od OpenAI. Sztuczna inteligencja staje się przystępniejsza cenowo

Warto mieć na uwadze, że im niższa liczba parametrów, tym mniejsze możliwości danego modelu językowego, ale za to wymagania co do pamięci VRAM też będą niższe. Ponadto najmniejsze modele mogą się zapętlać w "myśleniu" (można więc pominąć edycje z 1,5, 7 oraz 8 mld parametrów - z testów przeprowadzonych przez redakcję The Register). Model DeepSeek-R1 z 14 mld parametrów zużyje ok. 10,6 GB pamięci VRAM, z kolei wariant z 32 mld parametrów wykorzysta już 21,3 GB podczas działania (NVIDIA GeForce RTX 4090 radzi sobie z nim bez problemu, ale za to większy model jest już zbyt dużym wyzwaniem). Oczywiście najlepiej wypada pełna, flagowa edycja z 671 mld parametrów, natomiast na konsumenckich układach graficznych nie ma sensu brać go pod uwagę.