Kolejny komentarz w tym cyklu – część nr 1 TUTAJ, część nr 2 TUTAJ Tym razem wypowiedź Małgorzaty Latuszek, prezes Columb Technologies, firmy która zbudowała model AI do automatyzacji procesów finansowych. Uczestnicy Klubu Dyrektorów Finansowych „Dialog” mogą bezpłatnie przeprowadzić pilotaż tego rozwiązaniu. Opis takiego działania jest na stronie głównej tego serwisu.
Redakcja
_____________________________________
Posiadanie dobrej jakości danych w przedsiębiorstwie zawsze ma sens. Od dawna uważa się, że dane są faktyczną wartością firmy – która umożliwia nie tylko lepsze dopasowanie oferty do klienta, ale także optymalizację i automatyzację procesów wewnętrznych. Nie zawsze jednak udaje się utrzymać wysoką jakość danych we wszystkich systemach i procesach, a ich analiza i porządkowanie – zwłaszcza przy intensywnym rozwoju działalności – jest często przesuwana na dalszy plan, gdyż wymaga sporo czasu i zasobów.
Jak to jest więc z AI i jakością tych danych? Na początku kluczową kwestią jest na czym tak naprawdę polega wdrożenie AI w firmie i do czego dane mają zostać wykorzystane:
- Tworzenie nowego modelu AI do klasyfikacji kosztów czy prognozy przychodów – wymaga przygotowania dużych zasobów danych, na podstawie, których nauczymy nasz model. Jeśli model AI jest zupełnie nowym, dedykowanym danemu celowi modelem i zaczynamy „od początku” – tutaj jakość danych staje się kluczowa. Istotą uczenia maszynowego jest wyszukiwanie reguł i zależności w danych – zatem jeśli w danych będzie istotna ilość niespójności lub błędów, nasz model będzie mało dokładny i nie zapewni nam właściwej skuteczności. Nie da się jednak zawsze zapewnić idealnych danych – dlatego też można przyjąć, że pewne błędy w nich i tak się pojawią. Na bazie moich doświadczeń w budowie finansowych modeli AI mogę powiedzieć, że należy przyjąć wtedy podejście „kolejnych przybliżeń” – zapewnić możliwie dobrą jakość danych na początku, po nauczeniu modelu zweryfikować jego wyniki oraz przyczyny niepoprawnej predykcji – aby następnie ponownie wrócić do danych źródłowych i je poprawić – ale tylko w tym zakresie, który ma istotny wpływ na te wyniki.
- Wykorzystanie gotowego modelu AI – np. dużego modelu językowego typu GPT – i „douczenie go”, skalibrowanie pod własne procesy i potrzeby. W tym przypadku model poradzi sobie z pewnymi nieuporządkowanymi danymi – część pomyłek (np. literówek) jest w stanie skorygować samodzielnie, natomiast jeśli dane są bardzo niespójne i nieuporządkowane – wyniki będą słabe i zajmie nam bardzo dużo czasu osiągnięcie pożądanej skuteczności. Warto zatem poświęcić na początku prac pewien czas na analizę jakości i kompletności posiadanego zbioru.
Zatem w jaki sposób podejść do dostarczania i porządkowania danych do modelu? Czy podać mu dane jak najbardziej źródłowe – z systemów dziedzinowych – czy też przetworzyć je do postaci zagregowanej np. poprzez hurtownię danych? Tutaj podejście jest powiązane wprost z celem postawionym przed rozwiązaniem AI:
- Automatyzacja operacyjnych procesów biznesowych (np. księgowych jak klasyfikacja kosztów czy dekretacja) – nie wymaga budowy hurtowni danych. Procesy te dzieją się wcześniej niż dane trafiłyby do hurtowni. Im bardziej źródłowe i pierwotne dane (dekrety, plany kont, dane z dokumentów) – tym więcej uzyskamy w wyniku nauczenia modelu AI. Nie ma tu potrzeby realizacji dużego projektu związanego z integracją i wielowymiarowym powiązaniem danych w hurtowni – gdyż kluczem są dobre dane źródłowe z jak największą ilością szczegółów.
- Z drugiej strony zaawansowane modele prognostyczne analizujące całokształt obrazu przedsiębiorstwa jak najbardziej mogą być oparte lub wspomagane danymi z hurtowni danych czy systemu BI. Wymagane jest wtedy takie zasilenie modelu, aby odzwierciedlić całościowe zjawiska biznesowe i powiązać dane z różnych źródeł i systemów dziedzinowych (system finansowe, sprzedażowy, produkcyjny, CRM itd.). Hurtownia danych znacząco podnosi jakość i szybkość analiz w przedsiębiorstwie. Samo ich wdrożenie często porządkuje pojęcia i przepływy danych, uświadamia problemy jakościowe i pozwala wdrażać praktyki typu Data Governance.
- No i nie należy zapominać, że techniki AI same mogą pomóc w podniesieniu jakości danych w firmie (np. wykrywanie anomalii w danych lub wykrywanie podobieństw).
Zatem, aby właściwie dobrać sposób przygotowania danych do projektu AI najważniejsze jest najpierw określenie celu takiego projektu i podejścia do jego realizacji. Należy też pamiętać, że nie da się jednym podejściem zrealizować wszystkich projektów. Lepiej je podzielić na etapy i w ramach każdego z nich niezależnie określić jak krytyczna jest jakość danych oraz sposób ich przetworzenia i dostarczenia do rozwiązania. O jakość danych warto dbać jednak niezależnie czy będzie to projekt AI czy jakikolwiek inne usprawnienie pracy organizacji.
Małgorzata Latuszek
PS. Część nr 1 cyklu TUTAJ, część nr 2 TUTAJ