W 2009 roku odrzutowiec linii Air France rozbił się w oceanie, nie pozostawiając nikogo przy życiu. System autopilota w samolocie wyłączył się, a piloci, polegając na swoim skomputeryzowanym asystencie, nie byli w stanie ręcznie skorygować sytuacji .
W 2015 r. kierowca autobusu w Europie wpisał w swoim urządzeniu GPS błędny cel podróży i wesoło zabrał grupę belgijskich turystów na 1200-kilometrowy objazd w złym kierunku.
W 2017 r. decyzją uchyloną później w wyniku apelacji amerykańscy prokuratorzy, którzy zgodzili się na zwolnienie nastolatka z więzienia w zawieszeniu, nagle zmienili zdanie, ponieważ algorytm uznał, że oskarżony ma „wysokie ryzyko”.
To dramatyczne przykłady, ale nie są odosobnione. Kiedy zlecamy technologii zadania poznawcze – takie jak latanie samolotem, nawigacja czy dokonywanie oceny – badania pokazują, że możemy stracić zdolność do samodzielnego wykonywania tych zadań. Istnieje nawet określenie naszej tendencji do zapominania informacji dostępnych w wyszukiwarkach internetowych: efekt Google .
Ponieważ nowe technologie AI obiecują zautomatyzować coraz większy zakres działań, rośnie ryzyko „erozji umiejętności”. Nasze badanie pokazuje , jak to możliwe i sugeruje, w jaki sposób można zachować potrzebną wiedzę specjalistyczną, nawet jeśli nie jest ona potrzebna na co dzień.
Erozja umiejętności może sparaliżować organizację
Z moich badań wynika, że ryzyko erozji umiejętności można łatwo przeoczyć. W niedawnym badaniu mój zespół i ja badaliśmy spadek umiejętności w firmie księgowej .
Firma niedawno zaprzestała korzystania z oprogramowania, które automatyzowało większość usług księgowych dotyczących środków trwałych. Bez tego księgowi nie byli jednak w stanie wykonać tego zadania. Lata nadmiernego polegania na oprogramowaniu podkopały ich wiedzę specjalistyczną i ostatecznie musieli na nowo nauczyć się umiejętności księgowania środków trwałych.
Chociaż oprogramowanie opierało się na regułach (nie korzystało z uczenia maszynowego ani „AI”), było na tyle „inteligentne”, aby śledzić amortyzację i generować raporty do wielu celów podatkowych i finansowych. Są to zadania, które księgowi uznali za bardzo złożone i żmudne.
Firma dowiedziała się o erozji kwalifikacji dopiero, gdy klient znalazł błędy w ręcznych raportach zespołu księgowego. Ponieważ księgowym brakowało wystarczającej wiedzy specjalistycznej, firma musiała zlecić naprawę błędów dostawcy oprogramowania.
Jak następuje erozja umiejętności
Odkryliśmy, że brak uważności w zakresie zadań wspomaganych automatyzacją doprowadził do erozji umiejętności. Stare powiedzenie „wykorzystaj to lub strać” odnosi się zarówno do intensywnej pracy poznawczej, jak i do wszystkiego innego.
Księgowi nie obawiali się outsourcingu myślenia do oprogramowania, gdyż działało ono niemal bezbłędnie. Innymi słowy, padli ofiarą „ samozadowolenia związanego z automatyzacją ”: założenia, że „wszystko jest w porządku” przy jednoczesnym ignorowaniu potencjalnych zagrożeń.
Miało to trzy główne konsekwencje:
- stracili świadomość tego, co robi automatyzacja
- stracili motywację do utrzymywania i aktualizowania odpowiedniej wiedzy (takiej jak przepisy podatkowe), ponieważ dostawca i oprogramowanie zrobili to za nich
- ponieważ oprogramowanie było niezawodne, nie zawracali sobie już głowy sprawdzaniem poprawności wychodzących raportów.
Jak utrzymać swoje umiejętności
Jak zatem zapobiec samozadowoleniu podczas korzystania ze sztucznej inteligencji i innych zautomatyzowanych systemów? Oto trzy wskazówki:
- zwracaj uwagę na to, co robi system – jakie dane wejściowe są wykorzystywane, w jakim celu i co może mieć wpływ na jego sugestie
- na bieżąco aktualizuj swoje kompetencje (szczególnie jeśli jesteś prawnie odpowiedzialny za wyniki)
- krytycznie oceniaj wyniki, nawet jeśli ostateczne rezultaty wydają się zadowalające.
Jak by to wyglądało w praktyce? Oto codzienny przykład: jazda z pomocą aplikacji nawigacyjnej opartej na sztucznej inteligencji.
Zamiast ślepo podążać za instrukcjami aplikacji, zwracaj uwagę na znaki drogowe i punkty orientacyjne i bądź świadomy tego, co robisz, nawet gdy kierujesz się aplikacją.
Przed rozpoczęciem jazdy przestudiuj mapę i sugerowaną trasę, aby poszerzyć swoją „wiedzę domenową” lub zrozumieć, co znajduje się w pobliżu trasy. Pomaga to powiązać konkretną ścieżkę z szerszym otoczeniem, co będzie pomocne, jeśli się zgubisz lub będziesz chciał znaleźć alternatywne trasy.
Kiedy dotrzesz do celu, zastanów się nad trasą zaproponowaną przez aplikację: czy była szybka, czy bezpieczna, czy przyjemna? Jeśli nie, rozważ następnym razem wybranie innej trasy, nawet jeśli aplikacja sugeruje inaczej.
Czy sztuczna inteligencja jest niezbędnym towarzyszem?
Przypadek biura rachunkowego rodzi także większe pytanie: jakie umiejętności są istotne i warto je pielęgnować, a które z nich zrezygnować z automatyzacji?
Nie ma uniwersalnej odpowiedzi, ponieważ umiejętności zawodowe zmieniają się w czasie, w zależności od jurysdykcji, branż, kultury i lokalizacji geograficznej. Jest to jednak pytanie, z którym będziemy musieli się zmierzyć, ponieważ sztuczna inteligencja przejmuje działania, które uznano za niemożliwe do zautomatyzowania.
Pomimo trudności kierownik ds. księgowości z naszego studium przypadku uważa, że zautomatyzowane oprogramowanie jest bardzo korzystne. Jego zdaniem jego zespół po prostu zachłystnął się samozadowoleniem.
W świecie skupionym na wydajności i celach rocznych lub kwartalnych organizacje preferują rozwiązania, które poprawiają sytuację w krótkim okresie, nawet jeśli mają one negatywne długoterminowe skutki uboczne. Tak właśnie stało się w przypadku księgowości: wzrost wydajności przyćmił abstrakcyjne obawy dotyczące wiedzy specjalistycznej, aż do pojawienia się problemów.
Nie oznacza to, że powinniśmy unikać sztucznej inteligencji. Organizacje nie mogą sobie pozwolić na przegapienie szans, jakie stwarzają. Powinni jednak mieć także świadomość ryzyka erozji umiejętności.
wykładowca systemów informacji biznesowej na Uniwersytecie Queensland
Artykuł opublikowany pierwitnie w The Conversation na licencji CC.