Darmowa konkurencja dla ChatGPT - skorzystaj z modelu językowego Llama 2 bezpośrednio na swoim komputerze

Jednym z elementarnych składników niektórych usług, które zwykliśmy nazywać "sztuczną inteligencją", są modele językowe. To właśnie w oparciu o nie działają takie rozwiązania jak ChatGPT, Google Bard i inne, które zaliczamy do chatbotów. Dokładniej mówiąc, każde z nich składa się z wytrenowanego dużego modelu językowego (LLM), który różni się od siebie parametrami (czyli mówiąc ogólniej - możliwościami). Obecna generacja ChatGPT funkcjonuje poprzez model GPT 3,5 ze 175 mld parametrów. Z kolei Google Bard oparto o model LaMDA, który ma 137 mld parametrów. Oczywiście są to ogólnodostępne usługi, jednak aby z nich korzystać, potrzebujemy łącza internetowego. Są jednak rozwiązania, które już teraz oferują nam możliwość uruchomienia modeli językowych lokalnie, na naszym komputerze.

Autor: Natan Faleńczyk

Raptem chwilę temu (18 lipca 2023 roku) Meta udostępniła swój duży model językowy o nazwie Llama 2. Ku zdziwieniu wielu osób, druga generacja jest dostępna całkowicie za darmo (nawet do użytku komercyjnego). W bezpośrednim porównaniu do swojego poprzednika model wyróżnia się większym zbiorem danych treningowych (o 40%). Dodatkowo możemy wybrać jeden spośród trzech dostępnych wariantów, które składają się z innej liczby parametrów (7, 13 lub 70 mld). Wykorzystując model językowy lokalnie mamy nad nim większą kontrolę i możemy dodatkowo go skonfigurować. Sam proces nie jest trudny, jednak w zależności od naszego połączenia internetowego, może okazać się nieco czasochłonny - najmniejszy i poddany kompresji (GPTQ) model z 7 mld parametrów wymaga pobrania ponad 3,5 GB danych. Do lokalnej instalacji modeli językowych jesteśmy w stanie posłużyć się wieloma metodami, które można podzielić na dwie kategorie: ręczne wpisywanie komend w terminalu oraz proces automatyczny. Oczywiście posłużymy się drugą kategorią, tak aby każdy mógł od razu zacząć korzystać z modelu LLama 2. W tym celu zostanie omówiony proces instalacji dodatkowego oprogramowania.

Obecnie mamy możliwość skorzystania z pokaźnej liczby modeli językowych. Jednym z nich jest LLama 2, który z łatwością uruchomimy na swoim komputerze przy pomocy dodatkowego oprogramowania. Ten poradnik pokaże nam jak to zrobić krok po kroku.

Llama 2 - nowa generacja dużego modelu językowego od Mety, która powstała przy współpracy z Microsoftem

Lllama 2 - Wymagania systemowe

Aby uruchomić lokalnie model językowy Llama 2 (a także inne), najlepiej posiadać układ graficzny od NVIDII (AMD nie jest obsługiwany na Windowsie, a jedynie na dystrybucjach Linuxa, jednak musimy mieć zainstalowane oprogramowanie ROCm). Dzięki temu generowanie odpowiedzi będzie przebiegało dużo szybciej. Nie jest to oczywiście wymogiem koniecznym, ponieważ jesteśmy w stanie korzystać z modeli językowych również z udziałem samego procesora. Większa pojemność pamięci RAM także będzie sporym ułatwieniem, choć tak samo, jak w przypadku układu graficznego - nie koniecznością. Samo oprogramowanie, które będziemy za chwilę konfigurować, możemy zainstalować na systemach: macOS, Linux oraz Windows. Natomiast ten poradnik będzie się opierał na tym ostatnim.

Instalacja i konfiguracja dodatkowego oprogramowania

Text generation Web UI jest przeglądarkowym interfejsem, który pozwala o wiele łatwiej skorzystać z wielu modeli językowych. Bez niego musielibyśmy wykorzystywać do tego celu terminal. Oprogramowanie to daje nam możliwość korzystania z modeli językowych w sposób bardziej namacalny, a w dodatku oferuje pokaźną ilość opcji, za pomocą których możemy skonfigurować różne LLM. Cała instalacja jest naprawdę banalnie prosta i wymaga od nas jedynie podania jednego parametru. Na początek musimy się udać pod ten adres i z zakładki Installation -> One-click installers wybrać odpowiedni pakiet (w naszym wypadku będzie to oobabooga-windows.zip).

Następnie wypakowujemy archiwum w dowolnym miejscu (choć warto pamiętać, że wymagane będzie pobranie znacznej ilości danych). Przechodzimy do folderu oobabooga-windows i klikamy dwukrotnie na plik start_windows.bat - jest to skrypt, który automatycznie pobierze wymagane pakiety oprogramowania (jeśli w trakcie pojawi się komunikat "System Windows chronił ten komputer", klikamy na Więcej informacji i Uruchom mimo to). Cały proces trochę potrwa, jednak warto poczekać do momentu, w którym to zostaniemy poproszeni o wybranie odpowiedniego układu graficznego, z jakiego nasz sprzęt korzysta do działania. Kiedy operacje zostaną zatrzymane, a na ekranie wyświetli się Input>, wpisujemy A w przypadku obecności jednego z modeli od NVIDII (zalecane) lub D, aby wykorzystywać do pracy nasz procesor zamiast układu graficznego. Dwie pozostałe opcje dotyczą AMD (Linux i macOS) oraz układów Apple z serii M.

Międzyczasie możemy zauważyć, że wyskoczył błąd, jednak wszystkie działania są kontynuowane. Jeśli tak się stanie, nie powinniśmy się przejmować - czasami tak się dzieje, aczkolwiek nie wpływa to na późniejszą pracę. Kiedy cała instalacja dobiegnie końca, zobaczymy komunikat, który poinformuje nas, że nie pobraliśmy jeszcze żadnego modelu językowego. Poniżej tej informacji zobaczymy natomiast lokalny adres, który musimy skopiować do przeglądarki (okno CMD musi być stale uruchomione do działania, z kolei chcąc skopiować tekst, nie posługujemy się skrótem CTRL+C, ponieważ w tym wypadku przerywa on działanie). Tak więc uruchamiamy naszą przeglądarkę internetową i w pasku adresowym wpisujemy zaznaczony na zrzucie ekranu fragment 127.0.0.1:7860 lub localhost:7860 (jest to nazwa lokalnego hosta każdego sprzętu oraz wyznaczony port). Następnie klikamy na zakładkę Model, którą znajdziemy na górze interfejsu.

Teraz musimy pobrać model językowy Llama 2. W tym celu trzeba udać się na tę stronę i wysłać prośbę o dostęp. Czas oczekiwania może wynieść nawet 2 dni. Jednak dostęp do modelu możemy uzyskać dużo szybciej. Na stronie HuggingFace (trochę jak serwis GitHub, jednak dla wszystkiego, co związane z AI) możemy znaleźć modele językowe gotowe do pobrania. Dzięki temu oszczędzimy sobie trochę czasu. Llama 2 występuje w kilku odmianach i to od nas zależy, którą wybierzemy. Oprócz liczby parametrów dostępne są trzy wersje: GPTQ, Chat GPTQ oraz ggml. Pierwsza odnosi się do bardziej skompresowanego modelu językowego, dzięki czemu nie musimy pobierać plików o pełnej wielkości (są one mniejsze nawet o 95%). Wariant Chat GPTQ jak sama nazwa wskazuje, bardziej skupia się na aspektach konwersacyjnych. Z kolei ggml przeznaczony jest do wykorzystania na urządzeniach o ograniczonych zasobach, więc jest idealnym wyborem dla obsługi przez sam procesor.

Metody pobierania dostępnych modeli z HuggingFace są dwie (w naszej sytuacji): możemy ręcznie pobrać konkretne pliki, które znajdziemy u określonych użytkowników lub wpisać nazwę użytkownika i folder, aby oprogramowanie zrobiło to za nas. Jeśli wybraliśmy pierwszą metodę, cały folder powinniśmy przenieść do oobabooga_windows -> text-generation-webui -> models. W przypadku gdy chcemy skorzystać z pomocy oprogramowania, to w polu Download custom model or LoRA wpisujemy jeden z wybranych modeli, których adresy dla ułatwienia zostały podane w poniższej tabelce (choć sami możemy znaleźć dowolne źródło). Posiadając układ graficzny NVIDII, warto zacząć od wariantu z 7 mld parametrów i wersji Chat GPTQ (poniższy zrzut ekranu). W wielu przypadkach okaże się on wystarczający i pozwoli zaoszczędzić miejsce na dysku. Kiedy planujemy wykorzystać wyłącznie procesor, pamiętajmy o wyborze wersji ggml - natomiast musimy się liczyć z tym, że wczytywanie modelu oraz generowanie odpowiedzi będą wymagały więcej czasu. Wskazane jest, aby ręcznie pobrać jeden plik z wybranego folderu z końcówką .bin, ponieważ poprzez interfejs pobierzemy dużo więcej, niż jest to wymagane (nadal mówimy wyłącznie o ggml). Po wpisaniu adresu wystarczy kliknąć Download.

Proces pobierania może chwilę potrwać. Kiedy już się zakończy, każdy pobrany model ujrzymy w folderze models. W celu uruchomienia konkretnego z nich, będąc w interfejsie oraz zakładce Model naciskamy najpierw na przycisk "odświeżania", a następnie na rozwijaną listę (domyślnie None), z której wybieramy interesujący nas model językowy (sam interfejs obsługuje wiele LLM, takich jak Llama, GPT-J, OPT czy GALACTICA). Teraz przy pozycji Model loader wybieramy odpowiednią opcję - w moim przypadku dla modeli bazowych oraz Chat przy wykorzystywaniu układu graficznego, najlepszy okazał się ExLlama_HF, natomiast korzystając z wariantów ggml, wybieramy llama.cpp. Po poprawnym ustawieniu wszystkich parametrów klikamy przycisk Load i czekamy na załadowanie modelu językowego. Zarówno w interfejsie, jak i w oknie konsoli zobaczymy komunikat o pomyślnym zakończeniu tego procesu. 

Pozostaje nam więc przejść do zakładki Text generation. Tak naprawdę możemy już zacząć korzystać z naszego modelu językowego. Jednak trzeba wspomnieć, że model Llama 2 został przeszkolony niemal w 90% na źródłach danych, w których głównym językiem był angielski. Język polski jest zrozumiały dla LLM, jednak dane treningowe, które go zawierały, to raptem 0,09%. Odpowiedzi uzyskamy najszybciej, wyrażając się w języku angielskim. Można skłonić model, aby wypowiadał się po polsku, natomiast nie wszystkie odpowiedzi będą poprawne stylistycznie i wróci on po niedługiej chwili do swojego bazowego języka. Jak każdy inny LLM również LLama 2 potrafi się mylić, choć najczęściej generuje odpowiedzi zgodnie z prawdą. Poniżej możemy zobaczyć przykładowe zestawy pytań internetowych oraz czasy ich odpowiedzi (korzystając z mocy procesora lub układu graficznego).

(Model wykorzystujący moc układu graficznego)

(Model wykorzystujący moc procesora - ggml)

Samo oprogramowanie, z którego korzystamy, pozwala nam na dużo więcej opcji. Warto w nie bardziej wniknąć, ponieważ możemy wtedy na przykład spersonalizować okienko czatu lub nadać "osobowość" naszemu modelowi językowemu. Pierwszą opcję znajdziemy, kiedy zajrzymy zaraz pod główne pole czatu - umieszczono tam opcję Chat style (choć musimy najpierw ustawić funkcję Mode na Chat). Ustalenie charakteru, który ma niejako "grać" nasz model językowy, znajdziemy w zakładce Chat settings. Dostępna jest jedna postać, jednak przeszukując internet, bez problemu znajdziemy metody dodawania innych osobowości. Możliwości konfiguracji są więc naprawdę spore, a omówione tutaj to jedynie wierzchołek góry lodowej. 

W momencie, gdy postanowimy zakończyć pracę z modelem językowym, wystarczy, że zamkniemy okienko CMD. Z kolei, aby włączyć oprogramowawnie i ponownie użyć któregoś z modeli językowych, musimy jeszcze raz otworzyć plik start_windows.bat - tym razem jednak nie będziemy zmuszeni, aby znowu przechodzić przez proces instalacji. Wszystko odbędzie się dużo szybciej i po pojawieniu się adresu lokalnego, możemy przejść na stronę lokalnego hosta. Widzimy więc, że korzystanie z modeli językowych na naszym osobistym komputerze wcale nie jest ciężkim wyzwaniem. Wystarczy jedynie poświęcić trochę czasu na konfigurację i instalację. Wysiłek z pewnością jest opłacalny, ponieważ wszystko, co jest obecnie związane z AI, cały czas się tylko rozwija.