Wiele osób, które wypowiada się na temat rozwoju AI w Polsce, ma – jak obserwuję – zerowe pojęcie na temat tego, ile kosztuje robienie AI. Oto krótki tekst objaśniający, na co można wydać kwoty od tysiąca złotych do dziesięciu milionów złotych.
Poziom całkowicie amatorski – chcemy uruchomić bardzo proste modele AI na domowym komputerze. Koszt – 1000 zł, które wydajemy na najlepszą używaną kartę graficzną NVidia, jaka się trafi na OLX. Zakładam, że peceta już mamy. Co możemy robić? Uruchamiać proste modele generatywne, uczyć się ich tuningowania, tworzenia RAG-ów, ogólnie liznąć prawdziwego AI w mikroskali.
Poziom zaawansowanego fascynata albo ograniczonego budżetowo profesjonalisty. Koszt – 10000 zł, które wydajemy na najlepszą konsumencką kartę graficzną NVidia czyli RTX 4090. No i to, cholera, za mało. Do uruchomienia multimodalnych modeli open source średniej wielkości bez kwantyzacji potrzeba więcej pamięci VRAM. Szukamy funduszy na jeszcze dwie takie karty.
Poziom przyzwoicie wyposażonego profesjonalisty. Koszt – 150 000 zł, które wydaliśmy na… nie zgadniecie. Otóż: kartę graficzną NVidia, model H100. Nie jest znacznie szybsza od tej domowej, ale ma kilka razy więcej pamięci. Wreszcie możemy względnie komfortowo pracować z gotowymi modelami średniej wielkości. Hmmmm, ale żeby samemu coś wytworzyć? W końcu 150 tysi to nie tak mało, nie? No, to teraz uważajcie.
Modele z serii LLama 3 były szkolone na dwóch klastrach składających się z dwudziestu czterech tysięcy takich kart każdy. Piszę słowami, aby nikomu się nie zdawało, że w liczbie 24 000xGPU jest jakaś literówka. Tym samym odpowiedzieliśmy już sobie na pytanie, dlaczego nie wytworzymy w Polsce generatywnego modelu AI, którym dałoby się zadziwić świat. Nie dlatego, że nie mamy dobrych ludzi, tylko dlatego, że w tej dziedzinie potrzebna jest rzeka pieniędzy.
Rzeki nie mamy. Ale strumyk mamy. Dajemy naukowcowi dostęp do maszyny za milion złotych, w którą włożyliśmy 8 kart NVidia H100. Naukowiec uruchomił szkolenie modelu wg własnego pomysłu i projektu. Już za dziesięć tygodni dowiemy się, czy eksperyment się udał i udało się wytworzyć coś działającego.
A ponieważ mamy w kraju więcej niż jednego naukowca, to pomysłem na wydanie 10 milionów złotych jest kupienie 10 takich komputerów. Ktoś może powiedzieć, że za 10 milionów możemy kupić fafdziesiąt tysięcy godzin lepszej maszyny w chmurze. To prawda. Różnica jest taka, że gdy wydamy 10 milionów na pracę cudzych super maszyn, to na końcu nie mamy żadnych maszyn. Gdy kupimy sobie sprzęt, na który nas stać, to posłuży długie lata, a rozwój zabawek w tym obszarze ostatnio mocno zwolnił.
A że tak czy owak w każdym wariancie nasze pieniądze trafią do NVidii, to już temat na inny tekst.
Tomasz Zieliński, autor bloga Informatyk Zakładowy
Od redakcji. A koszt energii? W Irlandii, w której globalne firmy technologiczne lokują swoje centra danych, konsumują 21% energii całego kraju.