wykorzystanie uczenia maszynowego do rozwiązywania problemów związanych z uzgadnianiem danych w usługach finansowych

w usługach finansowych coraz częściej liczy się szybkość i dokładność normalizacji i uzgadniania danych. Banki, podmioty zarządzające aktywami, powiernicy, brokerzy-dealerzy, zarządzający portfelem, narzędzia rynkowe itp. wszystkie są zasadniczo oparte na danych. Tysiące pracowników wdraża, dopasowuje, oblicza i raportuje ogromne ilości danych każdego dnia w każdej części firmy.

uzgadnianie danych w celu ich agregacji, analizy i raportowania jest niekończącą się działalnością w usługach finansowych. Większość prac związanych z uzgadnianiem danych jest wykonywana przez zespoły danych za pomocą tradycyjnych narzędzi ETL, ale arkusze kalkulacyjne i procesy ręczne są powszechne. Nieefektywność i koszty są wysokie, szczególnie przy wprowadzaniu nowych źródeł danych.

nieefektywne uzgadnianie danych to dokładnie taki typ „nisko wiszących owoców”, który może rozwiązać podstawowe uczenie maszynowe. Wielokrotności wartości pod względem czasu, kosztów operacyjnych i unikania kar regulacyjnych można odblokować poprzez zastosowanie uczenia maszynowego w kluczowych punktach uzgadniania danych.

nieefektywne uzgadnianie danych może wystąpić w każdej części działalności, w której:

  • nowe źródła danych muszą być dopasowane do wewnętrznych lub zewnętrznych rekordów (customer, Security master, position, LEI itp.)
  • porównuje się lub agreguje wiele źródeł / rodzajów danych (ryzyko rynkowe, ryzyko kredytowe, aktywa ważone ryzykiem, testy warunków skrajnych dotyczące płynności, limity ekspozycji, BCBS 239 itp.)
  • Dane wewnętrzne muszą pasować do zewnętrznej bazy danych rekordów (repozytorium transakcji, baza danych regulatora, raporty kredytowe innych firm, AML / KYC / CFT itp.)
  • istnieją ręczne procesy kontroli i zatwierdzania (wdrażanie klientów, Kontrola transakcji, Kontrola pożyczek, zobowiązania itp.)
  • istnieje projekt migracji systemu lub danych (agregowanie wielu systemów w jeden, wdrażanie nowego systemu, pozyskiwanie nowego portfela kredytowego lub kont klientów itp.)
  • wymagane jest raportowanie regulacyjne (Dodd-Frank, MiFiD II / MiFiR, OFAC, GDPR itp.)
  • opracowywane i analizowane są ścieżki audytu (audyty wewnętrzne, audyty regulacyjne, CAT 613, OATS, MSSF 9, SMR, SOX itp.)
  • wielokrotne uzgodnienia 1 do 1 są agregowane w uzgodnienia wieloczęściowe (kompensowanie zabezpieczeń, Sprawozdawczość bankowej spółki holdingowej itp.)
  • wymagania rynku szybko ewoluowały (wiele giełd, struktura rynku, przetwarzanie w chmurze, rozliczenia TARGET2, usługi użyteczności publicznej itp.)

„nowa norma „-dlaczego tradycyjne ETL i stałe struktury danych zawodzą

dalekosiężne nowe wymogi biznesowe i regulacyjne, które zależą od szybkiego przetwarzania, uzgadniania i agregowania złożonych danych, stały się” nową normą ” w usługach finansowych. Niestety, tradycyjne metody modelowania stałych danych / ETL słabo dostosowują się do tych złożonych nowych wymagań.

w ramach tradycyjnego modelu analitycy biznesowi i specjaliści ds. ETL / danych muszą tworzyć wymagania techniczne, wprowadzać nowe źródła danych, analizować dane i stosować procesy ETL, które odpowiadają stałemu modelowi danych. Jest to bardzo skomplikowane, zajmuje dużo czasu i często wymaga rozszerzenia zakresu projektu na wiele części działalności.

te ograniczenia mogą powodować cztery skutki dla biznesu:

  1. rygorystyczne ograniczenia dotyczące przyjmowania nowych źródeł danych mogą powodować krytyczne opóźnienia, gdy prędkość jest wymagana do osiągnięcia celu krytycznego dla misji (M&a, regulatory / compliance)
  2. nie skaluje się dobrze. Przejście od obciążeń i wolumenów danych na poziomie BAU do obsługi dużych nowych projektów w krótkim czasie może spowodować chaos w zespołach ds. danych i technologii.
  3. przeszłość definiuje przyszłość: systemy zaprojektowane w celu spełnienia starych wymagań mogą znacznie ograniczyć sposób przyjmowania nowych danych i co można zrobić z danymi w dalszej kolejności.
  4. nowe typy danych i źródła mogą wymagać znacznej przebudowy procesu, szkolenia i zatrudnienia. Może to przesunąć ramy czasowe projektu poza daty „hard stop” zdefiniowane przez firmę lub organy regulacyjne.

mogą również wystąpić dwie dalsze (bardzo negatywne) rzeczy:

  • nowe projekty biznesowe lub regulacyjne mogą się opóźniać i przekraczać dostępne budżety.
  • użytkownicy biznesowi unikają angażowania zespołu ds. danych i opracowują własne procesy oparte na arkuszach kalkulacyjnych, aby wdrażać i uzgadniać dane. Powoduje to wysokie koszty, niską przejrzystość / możliwość kontroli i wysoki poziom błędów.

jak uczenie maszynowe może zwiększyć wydajność i zmniejszyć koszty uzgadniania danych

podstawowe uczenie maszynowe może być zaimplementowane, aby pomóc rozwiązać problemy związane z szybkością i kosztami wdrażania i uzgadniania nowych źródeł danych.

głównym problemem w podejściu do danych strukturyzowanych / ETL jest powolna szybkość pobierania nowych danych i dopasowywania. Największy „huk za złotówkę” można osiągnąć, usuwając powolne procesy oparte na ludziach na początkowym etapie wdrażania danych i zastępując je maszyną, która analizuje i uczy się, jak radzić sobie z nowymi danymi.

idealny system do tego celu:

  • łączy się z większością / wszystkimi źródłami danych (nowe źródło i istniejące źródła do dopasowania, a także istniejące strukturalne źródła danych i warstwa ETL)
  • pobiera dane w szerokim zakresie formatów (csv, XML, feed, SQL, NoSQL itp.
  • przetwarza dane w pamięci, aby zmaksymalizować szybkość i pojemność
  • ma wbudowany silnik danych, który automatycznie „uczy się” źródeł danych i wzorców, analizuje je pod kątem prawdopodobnych dopasowań w wielu zestawach danych, podkreśla wyjątki / niedopasowania do zgodności i prezentuje możliwe do wykonania listy w celu rozwiązania problemów z danymi
  • ma łatwy w użyciu interfejs, który pomaga analitykom szybko budować reguły kontroli danych w centralnej lokalizacji z możliwością wdrożenia zautomatyzowanych procesy zatwierdzania
  • rejestruje wszystkie działania w formacie kontrolowanym

trzy Case Studies of Machine Learning in Large Scale Reconciliation Projects

Case #1: Fees, pricing and transaction data from 200+ Financial Advisors to a U. S. Wealth Management Company

Platforma reconciliation featuring machine learning capabilities została wdrożona w dużej amerykańskiej firmie zarządzającej majątkiem. Przed wdrożeniem systemu zespół operacyjny musiał ręcznie uzgadniać codziennie setki źródeł danych z Excela, PDF, e-maili i ponad 220 stron internetowych przesłanych przez doradców finansowych firmy. Procesowi brakowało kontroli, automatyzacji i nadzoru przeglądu/zatwierdzenia.

wdrożenie nowego systemu polegało na wskazaniu go na źródła danych, a następnie umożliwieniu mechanizmowi uczenia maszynowego i uzgadniania przetwarzania danych w pamięci. Zastosowano algorytmy oparte na prawdopodobieństwie i wygenerowano potencjalne niedopasowania / wyjątki w raporcie. Zespół operacyjny następnie je przetworzył i był w stanie szybko opracować zasady dopasowania wielokrotnego użytku oraz zatwierdzenia / kontrole w centralnej lokalizacji. Po zbudowaniu reguł system mógł automatycznie sprawdzać jakość danych w określonych tolerancjach, generować raporty o wyjątkach i wysyłać plik do pobrania przez system księgowy firmy. Wyeliminowało to ryzyko operacyjne wynikające z ręcznego cięcia i wklejania danych, wdrożyło przegląd nadzorczy i automatycznie zintegrowało go z systemem księgowym. Osiągnięto przyrost wydajności rzędu kilku milionów dolarów rocznie.

sprawa # 2: Broker-dealer uzgadnianie wielu giełd z wieloma systemami wewnętrznymi dla ETD

duży broker-dealer z globalnymi operacjami handluje ETD na ponad 80 różnych giełdach. Wiele systemów wewnętrznych służy do przechwytywania i przetwarzania danych dotyczących papierów wartościowych, handlu, cen, pozycji i klientów. Ze względu na wysoki poziom złożoności i wymagania dotyczące wydajności, w połączeniu z brakiem pojednania i znormalizowanymi ramami kontroli, firma coraz bardziej nie była w stanie ekspansji na nowe rynki. Firma oszacowała, że na pokładzie nowej giełdy potrzeba było ponad 200 dni roboczych.

firma wdrożyła system uzgadniania wyposażony w uczenie maszynowe i funkcje dopasowywania w pamięci. System pobierał dane z ponad 80 wymian i znormalizował / uzgadniał je z różnymi systemami wewnętrznymi za pomocą ich stałych struktur danych. Silnik uczenia był w stanie szybko przetworzyć miliony historycznych transakcji, wyświetlić wyjątki i niedopasowania oraz zasugerować reguły dopasowania. Firma była w stanie wdrożyć 2 giełdy dziennie, a nie 2 miesięcznie.

przykład # 3: Nabycie nowego portfela kredytów dla przedsiębiorstw od innego kredytodawcy

Bank Regionalny nabył portfel kilku tysięcy kredytów dla przedsiębiorstw od konkurenta. Proces onboardingu tych pożyczek wymagałby onboardingu klientów, KYC / AML, Skarbu, limitów, technologii, zarządzania projektami, należności, zespołu operacji kredytowych banku sprzedającego i potencjalnie zespołów finansowych kredytobiorców.

dane były przechowywane w banku sprzedaży w różnych systemach I formatach oraz były powiązane z różnymi dokumentami klientów i kredytowymi. Wdrożenie danych kredytowych wymagało analizy danych, dopasowania do wewnętrznych LMS banku, identyfikacji niedopasowań i luk, stworzenia zasad uzgadniania i dopasowania ich do wewnętrznych rejestrów klientów. Należy to zrobić, zanim pożyczki będą mogły być zarządzane, uwzględnione w P& L i obliczeniach ryzyka oraz rozliczane. Wewnętrzny zespół banku oszacował, że wdrożenie portfela kredytowego wymagałoby 5-6 miesięcy w istniejących systemach, z analizą każdej wymaganej pożyczki.

bank zdecydował się wdrożyć oparty na chmurze system uzgadniania z możliwościami uczenia maszynowego. Portfel kredytów i powiązane z nim dane klientów i płatności zostały załadowane do systemu i dopasowane do wewnętrznych LMS banku i zapisów księgowych. System był w stanie dopasować około 65% danych do wewnętrznych rekordów w ciągu 1 dnia, a pozostałe dane zaprezentował w centralnym pulpicie nawigacyjnym do rozdzielczości. Całe portfolio zostało wdrożone w ciągu 2 tygodni, w tym nowe zasady i zapisy dopasowania, kontrole i import do LMS firmy.

w skrócie

Jak pokazują te przykłady, można wykorzystać podstawowe możliwości uczenia maszynowego, aby szybko spełnić wymagania biznesowe i regulacyjne, gdy zawodzą tradycyjne metody strukturyzowanych danych. Wraz z szybkością zmian w usługach finansowych zbadanie, w jaki sposób uczenie maszynowe może być wykorzystywane do uzgadniania danych w firmie, może przynieść znaczące korzyści.

Dodaj komentarz

Twój adres e-mail nie zostanie opublikowany.