Duży model językowy został z powodzeniem uruchomiony na systemie Windows 98 i wiekowym komputerze
Obliczenia powiązane ze sztuczną inteligencją zazwyczaj kojarzą się z koniecznością dysponowania olbrzymią mocą obliczeniową. W praktyce są już jednak dostępne na rynku modele językowe, które z powodzeniem działają na zwykłym sprzęcie. Rzadko jednak zdarza się, by ktoś próbował je uruchomić na wiekowym komputerze. Takiego przedsięwzięcia podjął się jeden z serwisów poświęconych AI. Rezultaty opublikowano na materiale wideo i blogu.
Duży model językowy, z którego korzysta sztuczna inteligencja, można uruchomić nawet na starym komputerze z procesorem Pentium II oraz systemem operacyjnym Windows 98. W sieci opublikowano instrukcję.
Era agentów AI coraz bliżej. Google prezentuje sztuczną inteligencję, która zautomatyzuje pracę w Google Chrome
Uruchomienie sztucznej inteligencji, bazującej na dużym modelu językowym, w przypadku komputera z systemem operacyjnym Windows 98 może wydawać się niemożliwym przedsięwzięciem. Serwis EXO Labs udowadnia jednak, że dzięki specjalnej wersji silnika wnioskującego llama2.c jest to możliwe. W serwisie X opublikowano materiał wideo, na którym można zobaczyć, że zadanie zakończyło się sukcesem. Pojawił się też wpis na blogu EXO Labs, dzięki któremu możliwe jest własnoręczne uruchomienie modelu na starszym sprzęcie. Twórcy materiału postanowili wykorzystać komputer wyposażony w procesor Intel Pentium II z taktowaniem 350 MHz oraz 128 MB RAM. Bazą stał się silnik wnioskujący llama98.c, który jest zmodyfikowaną wersją niezwykle kompaktowego silnika llama2.c, opracowanego przez Andreja Karpathy (byłego pracownika Tesli).
LLM running on Windows 98 PC
— EXO Labs (@exolabs) December 28, 2024
26 year old hardware with Intel Pentium II CPU and 128MB RAM.
Uses llama98.c, our custom pure C inference engine based on @karpathy llama2.c
Code and DIY guide pic.twitter.com/pktC8hhvva
Firma xAI Elona Muska podwaja rozmiary swojego gigantycznego superkomputera służącego do treningu sztucznej inteligencji
Problemy pojawiły się już na samym początku przedsięwzięcia. Z komputerem nie chciały współpracować żadne współczesne peryferia korzystające ze złącza USB. Konieczne zatem było użycie klawiatury i myszki bazującej na porcie PS/2. Drugim problemem było przeniesienie odpowiednich plików na komputer. Żadne współczesne nośniki posiadane przez autorów nie chciały bowiem współpracować z Windowsem 98. Zdecydowano się zatem skorzystać z protokołu FTP. Źródłem plików był zaś serwer FileZilla, który postawiono na MacBooku Pro z procesorem M4. Niełatwo było też przygotować kompilację modelu językowego dla systemu Windows 98. Ostatecznie swoją funkcję spełnił kompilator Borland C++ 5.02. Wprowadzono też kilka zmian do modelu llama2.c i ostateczny efekt prac udostępniono w serwisie GitHub.
NVIDIA ponownie rozbija bank. Akceleratory dla sztucznej inteligencji z serii Blackwell sprzedają się jak ciepłe bułeczki
Oczywiście uzyskana na przestarzałym sprzęcie wydajność jest niezwykle niska według dzisiejszych standardów. Uruchomiony w ten sposób model Llama 3.2 z 1 mld parametrów (czy też może raczej jego fragment) zaoferował wydajność na poziomie 0,0093 tok/s. O wiele lepszy rezultat uzyskano jednak w przypadku modelu stories260K (260 tys. parametrów). Tutaj udało się uzyskać 39,31 tok/s i z pewnością nie jest to wartość niska, jak na potencjalne możliwości tego 25-letniego komputera i fakt, że całość działała wyłącznie na procesorze.
Powiązane publikacje

Ceny nowoczesnych wafli krzemowych znacząco wzrosły na przestrzeni ostatnich 10 lat, ale postęp technologiczny jest szybszy
26
TSMC rozpoczęło produkcję w procesie technologicznym 2 nm. Na razie jej skala jest bardzo ograniczona
33
Wiosna na Marsie obfituje w niesamowite zjawiska. NASA zdradza, że koniec zimy jest pełen wybuchów, lawin oraz silnych wiatrów
41
Unia Europejska rzuca wyzwanie Starlinkowi. Do 2030 roku powstanie nowa sieć satelitów zapewniających dostęp do Internetu
87