W miarę jak złożone systemy stają się coraz bardziej złożone, często przyjmują one właściwości i zachowania, których nie możemy przewidzieć, patrząc na ich części składowe.
Polecamy znakomity artykuł Duncana Andersona „O rozumowaniu, wyjaśnialności i LLM”.
Oto kilka frapujacych fragmentów:
LLM działa poprzez przewidywanie najbardziej statystycznie prawdopodobnego następnego tokenu w sekwencji. Zatem kiedy pytam „kto jest prezydentem USA?”, model nie przeprowadza żadnej formy ustrukturyzowanego rozumowania ani przeszukiwania baz danych w celu znalezienia nazwiska Joe Bidena. Zamiast tego wie ze swoich danych szkoleniowych, że Joe Biden to statystycznie prawdopodobna sekwencja tokenów, które można wygenerować w celu uzupełnienia danych wejściowych „kto jest prezydentem USA?”. Fakt, że LLM przeczytał bardzo, bardzo dużą (stąd pierwsze L w LLM) ilość tekstu, oznacza, że jest w stanie wykonać tę sztuczkę dla bardzo szerokiej gamy danych wejściowych. (…) Wyjaśnienie, dlaczego model wymyślił Joe Biden, wymagałoby zrozumienia wielu miliardów parametrów modelu, co jest wyraźnie niepraktyczne i niemożliwe dla żadnego człowieka.
W świecie nauki istnieją dwa wyjaśnienia, w jaki sposób badać i rozumieć właściwości układu. Pierwszy, redukcjonizm , interpretuje złożony system poprzez badanie jego części składowych.Zatem redukcjonista postrzega świat jako po prostu przedłużenie zachowania elementów składowych, takich jak atomy, cząsteczki, reakcje chemiczne i interakcje fizyczne. Jeśli rozumiesz podstawy, wszystko inne jest tylko większą wersją tego.
(…)
Inny sposób to emergentyzm. Emergentyzm przewiduje, że w miarę jak złożone systemy stają się coraz bardziej złożone, często przyjmują one właściwości i zachowania, których nie możemy przewidzieć, patrząc na ich części składowe.
(…)
Zdolność rozumowania LLM wydaje się dziwna, ale być może nie jest tak odległa od naszej ludzkiej – obie można naprawdę wyjaśnić jedynie poprzez emergence. Jeśli zatem rozumowanie w LLM jest czymś istotnym, jak zająć się wyjaśnialnością lub jej brakiem?
Wyjaśnialność w tradycyjnym systemie występuje, ponieważ możemy wrócić do zakodowanych reguł, podążać ścieżką i określić, dlaczego otrzymano konkretną odpowiedź. (…) Natomiast wyjaśnialność w LLM jest zupełnie inna. Nie ma żadnych przejrzystych zasad, które można by prześledzić, a gigantyczny model statystyczny, z którego składa się LLM, nie jest czymś, co człowiek może otworzyć, aby prześledzić, w jaki sposób uzyskano konkretną odpowiedź. Nie oznacza to jednak, że nie istnieje możliwość wyjaśnienia. W rzeczywistości istnieje bardzo dużo, ale w zupełnie innej formie.
Tak działa wyjaśnialność w LLM: po prostu proszę maszynę o podjęcie decyzji i wyjaśnienie jej rozumowania. Dokładnie to samo bym zrobił, gdybym zapytał człowieka. Uważa się, że ludzi da się wytłumaczyć, więc twierdzę, że LLM również. (…)
LLM mogą równie dobrze być „czarne, pudełkowe”, ponieważ mamy trudności ze zrozumieniem, jak działają, gdy jesteśmy w trybie myślenia redukcjonistycznego. Jednakże, jeśli zaakceptujemy emergentyzm, są to, paradoksalnie, najbardziej wytłumaczalne systemy informatyczne, jakie kiedykolwiek mieliśmy.
Cały artykuł „O rozumowaniu, wyjaśnialności i LLM”.