Zgłoś błąd
X
Zanim wyślesz zgłoszenie, upewnij się że przyczyną problemów nie jest dodatek blokujący reklamy.
Błędy w spisie treści artykułu zgłaszaj jako "błąd w TREŚCI".
Typ zgłoszenia
Treść zgłoszenia
Twój email (opcjonalnie)
Nie wypełniaj tego pola
Załóż konto
EnglishDeutschукраїнськийFrançaisEspañol中国

Duży model językowy został z powodzeniem uruchomiony na systemie Windows 98 i wiekowym komputerze

Łukasz Stefaniak | 30-12-2024 14:35 |

Duży model językowy został z powodzeniem uruchomiony na systemie Windows 98 i wiekowym komputerzeObliczenia powiązane ze sztuczną inteligencją zazwyczaj kojarzą się z koniecznością dysponowania olbrzymią mocą obliczeniową. W praktyce są już jednak dostępne na rynku modele językowe, które z powodzeniem działają na zwykłym sprzęcie. Rzadko jednak zdarza się, by ktoś próbował je uruchomić na wiekowym komputerze. Takiego przedsięwzięcia podjął się jeden z serwisów poświęconych AI. Rezultaty opublikowano na materiale wideo i blogu.

Duży model językowy, z którego korzysta sztuczna inteligencja, można uruchomić nawet na starym komputerze z procesorem Pentium II oraz systemem operacyjnym Windows 98. W sieci opublikowano instrukcję.

Duży model językowy został z powodzeniem uruchomiony na systemie Windows 98 i wiekowym komputerze [1]

Era agentów AI coraz bliżej. Google prezentuje sztuczną inteligencję, która zautomatyzuje pracę w Google Chrome

Uruchomienie sztucznej inteligencji, bazującej na dużym modelu językowym, w przypadku komputera z systemem operacyjnym Windows 98 może wydawać się niemożliwym przedsięwzięciem. Serwis EXO Labs udowadnia jednak, że dzięki specjalnej wersji silnika wnioskującego llama2.c jest to możliwe. W serwisie X opublikowano materiał wideo, na którym można zobaczyć, że zadanie zakończyło się sukcesem. Pojawił się też wpis na blogu EXO Labs, dzięki któremu możliwe jest własnoręczne uruchomienie modelu na starszym sprzęcie. Twórcy materiału postanowili wykorzystać komputer wyposażony w procesor Intel Pentium II z taktowaniem 350 MHz oraz 128 MB RAM. Bazą stał się silnik wnioskujący llama98.c, który jest zmodyfikowaną wersją niezwykle kompaktowego silnika llama2.c, opracowanego przez Andreja Karpathy (byłego pracownika Tesli).

Firma xAI Elona Muska podwaja rozmiary swojego gigantycznego superkomputera służącego do treningu sztucznej inteligencji

Problemy pojawiły się już na samym początku przedsięwzięcia. Z komputerem nie chciały współpracować żadne współczesne peryferia korzystające ze złącza USB. Konieczne zatem było użycie klawiatury i myszki bazującej na porcie PS/2. Drugim problemem było przeniesienie odpowiednich plików na komputer. Żadne współczesne nośniki posiadane przez autorów nie chciały bowiem współpracować z Windowsem 98. Zdecydowano się zatem skorzystać z protokołu FTP. Źródłem plików był zaś serwer FileZilla, który postawiono na MacBooku Pro z procesorem M4. Niełatwo było też przygotować kompilację modelu językowego dla systemu Windows 98. Ostatecznie swoją funkcję spełnił kompilator Borland C++ 5.02. Wprowadzono też kilka zmian do modelu llama2.c i ostateczny efekt prac udostępniono w serwisie GitHub.

Duży model językowy został z powodzeniem uruchomiony na systemie Windows 98 i wiekowym komputerze [2]

NVIDIA ponownie rozbija bank. Akceleratory dla sztucznej inteligencji z serii Blackwell sprzedają się jak ciepłe bułeczki

Oczywiście uzyskana na przestarzałym sprzęcie wydajność jest niezwykle niska według dzisiejszych standardów. Uruchomiony w ten sposób model Llama 3.2 z 1 mld parametrów (czy też może raczej jego fragment) zaoferował wydajność na poziomie 0,0093 tok/s. O wiele lepszy rezultat uzyskano jednak w przypadku modelu stories260K (260 tys. parametrów). Tutaj udało się uzyskać 39,31 tok/s i z pewnością nie jest to wartość niska, jak na potencjalne możliwości tego 25-letniego komputera i fakt, że całość działała wyłącznie na procesorze.

Duży model językowy został z powodzeniem uruchomiony na systemie Windows 98 i wiekowym komputerze [3]

Źródło: EXO Labs, Tom's Hardware
Bądź na bieżąco - obserwuj PurePC.pl na Google News
Zgłoś błąd
Liczba komentarzy: 76

Komentarze:

x Wydawca serwisu PurePC.pl informuje, że na swoich stronach www stosuje pliki cookies (tzw. ciasteczka). Kliknij zgadzam się, aby ta informacja nie pojawiała się więcej. Kliknij polityka cookies, aby dowiedzieć się więcej, w tym jak zarządzać plikami cookies za pośrednictwem swojej przeglądarki.