Usando Aprendizado de Máquina para Resolver Desafios de Reconciliação de Dados em Serviços Financeiros

de Vitória em serviços financeiros é cada vez mais sobre a velocidade e a precisão de normalização de dados e reconciliação. Bancos, gestores de activos, entidades de Custódia, corretoras, gestores de carteira, serviços de utilidade pública, etc. são todos fundamentalmente orientados por dados. Milhares de funcionários a bordo, combinam, calculam e relatam quantidades enormes de dados todos os dias em todas as partes do negócio.

reconciliar os dados para que possam ser agregados, analisados e reportados é uma actividade sem fim nos Serviços Financeiros. Grande parte deste trabalho de reconciliação é feito por equipes de dados com ferramentas ETL tradicionais, mas planilhas e processos manuais são galopantes. As ineficiências e os custos abundam, especialmente quando se abordam Novas Fontes de dados.

ineficiências de reconciliação de dados são exatamente o tipo de” fruto de baixa suspensão ” que a aprendizagem básica da máquina pode resolver. Múltiplos de valor em termos de tempo, custo operacional e evitar penalidades regulamentares podem ser desbloqueados empregando aprendizagem de máquina em pontos chave de reconciliação de dados.

reconciliação de Dados ineficiências podem ocorrer em qualquer parte do negócio, onde:

  • Novas fontes de dados devem ser combinados com internos ou externos registros (cliente, mestre de segurança, posição, LEI, etc.)
  • múltiplas fontes / tipos de dados são comparados ou agregados (risco de mercado, risco de crédito, APR, teste de esforço de liquidez, limites de exposição, BCBS 239, etc.)
  • os dados internos devem corresponder a uma base de dados externa de registos (repositório de transações, base de dados reguladora, relatórios de crédito de terceiros, AML / KYC / CFT, etc.)
  • existem controlos manuais e processos de aprovação (embarque de clientes, controlo de transacções, controlo de empréstimos, contas a pagar, etc.)
  • existe um projeto de migração de sistemas ou dados (agregando vários sistemas em um, embarcando um novo sistema, adquirindo uma nova carteira de empréstimos ou contas de clientes, etc.)
  • a comunicação regulamentar é obrigatória (Dodd-Frank, MiFiD II / MiFiR, OFAC, GDPR, etc.)
  • são produzidas e analisadas pistas de auditoria (auditorias internas, auditorias regulamentares, CAT 613, OATS, IFRS 9, SMR, SOX, etc.)
  • as reconciliações múltiplas de 1 Para 1 são agregadas em reconciliações multi-partes (compensação de garantias, reporte de participações bancárias, etc.)
  • os requisitos do mercado evoluíram rapidamente (múltiplas bolsas, estrutura de mercado, cloud computing, liquidações do TARGET2, utilitários, etc.)

a ” nova normalidade “-por que razão as estruturas tradicionais ETL e de dados fixos falham

novas empresas de longo alcance e requisitos regulamentares que dependem de um tratamento rápido, a conciliação e a agregação de dados complexos tornaram-se o” novo normal ” nos Serviços Financeiros. Infelizmente, as abordagens tradicionais do modelo de dados fixos / ETL adaptam-se mal a estes novos requisitos complexos.

no modelo tradicional, os analistas de negócios e especialistas em ETL / dados devem criar requisitos técnicos, a bordo de novas fontes de dados, analisar os dados e aplicar processos ETL que correspondam a um modelo de dados fixo a jusante. Isto é altamente complexo, leva tempo significativo, e muitas vezes requer a expansão do escopo do projeto para várias partes do negócio.

estas limitações podem causar quatro efeitos na empresa:

  1. restrições rigorosas à ingestão de novas fontes de dados podem causar atrasos críticos quando a velocidade é necessária para atingir um objectivo crítico da missão (M&a, regulatory / compliance)
  2. ela não escala bem. Saltar de cargas de trabalho de nível BAU e volumes de dados para lidar com grandes novos projetos em linhas de tempo curtas pode lançar as equipes de dados e tecnologia no caos.
  3. o passado define o futuro: os sistemas concebidos para satisfazer requisitos antigos podem limitar substancialmente a forma como os novos dados podem ser ingeridos e o que pode ser feito com os dados a jusante.
  4. os novos tipos de dados e fontes podem exigir processos significativos de reengenharia, formação e contratação. Isso pode empurrar os prazos do projeto para além das datas de “parada dura” definidas pelo negócio ou reguladores.

duas outras coisas (muito negativas) também podem ocorrer:

  • novos projetos de negócios ou regulatórios podem ficar atrasados e exceder os orçamentos disponíveis.
  • os utilizadores das empresas evitam envolver a equipa de dados e desenvolvem os seus próprios processos baseados em folhas de cálculo para bordo e reconciliar os dados. Isso causa altos custos, baixa transparência / auditabilidade, e altas taxas de erro.

como a aprendizagem de máquinas pode aumentar a eficiência e reduzir os custos de reconciliação de dados

a aprendizagem básica de máquinas pode ser implementada para ajudar a resolver as questões de velocidade e custo de On-boarding e reconciliar Novas Fontes de dados.

o principal problema com as abordagens estruturadas de dados / ETL é a lentidão na tomada de novos dados e na correspondência. O maior” bang for the buck ” pode ser alcançado através de processos lentos baseados em humanos no estágio inicial de dados onboarding e substituindo-os por uma máquina que analisa e ensina-se a lidar com os novos dados.

O sistema ideal para esta finalidade:

  • Conecta-se a mais/todas as origens de dados (a nova fonte, bem como as fontes existentes para combinar, mais estruturado existente fontes de dados e ETL camada)
  • Coleta de dados em uma ampla gama de formatos csv, XML, alimentação, SQL, NoSQL, etc.)
  • Processa os dados na memória para maximizar a velocidade e a capacidade
  • Tem um built-in motor de dados que automaticamente “aprende” as fontes de dados e padrões, analisa-os para prováveis para vários conjuntos de dados, destaca a reconciliação exceções, desajustes, e apresenta acionáveis “fazer” listas para resolver problemas de dados
  • Tem um fácil de usar interface que ajuda os analistas a construir rapidamente o controle de dados de regras em uma localização central com a capacidade de implementar automatizada de processos de aprovação de
  • Registros de todas as atividades em um auditable formato

Três Case Studies of Machine Learning in Large Scale Reconciliation Projects

Case # 1: Fees, pricing and transaction data from 200+ Financial Advisors to a U. S.-based Wealth Management firm

a reconciliation platform featuring machine learning capabilities was implemented at a major U. S.-based Wealth Management firm. Antes de implementar o sistema, a equipe de operações teve que conciliar manualmente centenas de fontes de dados em uma base diária a partir do Excel, PDF, e-mails e 220+ sites submetidos pelos consultores financeiros da empresa. O processo carecia de controle, automação e revisão/aprovação de supervisão.

implementar o novo sistema envolveu apontá-lo para as fontes de dados, em seguida, permitindo que o motor de aprendizagem e Reconciliação da máquina para processar os dados na memória. Algoritmos baseados em probabilidades foram aplicados e potenciais discrepâncias / exceções geradas em um relatório. A equipe de operações então processou estes e foi capaz de desenvolver rapidamente regras de correspondência reutilizáveis e aprovações / controles em um local central. Uma vez que as regras foram construídas, o sistema poderia automaticamente verificar a qualidade dos dados dentro de tolerâncias especificadas, gerar relatórios de exceção, e produzir um arquivo a ser ingerido pelo sistema de contabilidade da empresa. Isso eliminou o risco operacional de cortar e colar manualmente os dados, implementou revisão de supervisão, e automaticamente integrou-o com o sistema de contabilidade. Ganhos de eficiência de vários milhões de dólares por ano foram alcançados.

Processo # 2: Reconciliação entre corretores e corretores de Bolsa de múltiplos sistemas internos para ETDs

um grande corretor-corretor com operações globais comercializa ETDs através de 80 + diferentes bolsas. Múltiplos sistemas internos são usados para capturar e processar os dados de títulos, comércio, preço, posição e clientes. Devido ao alto nível de complexidade e requisitos de desempenho, combinado com a falta de reconciliação e estrutura de controle normalizada, a empresa foi cada vez mais incapaz de se expandir para novos mercados. A empresa estimou que levou mais de 200 homens-dias a bordo de uma nova troca.

a empresa implementou um sistema de reconciliação com a aprendizagem de máquinas e capacidades de correspondência em memória. O sistema ingeriu dados de mais de 80 intercâmbios e normalizou-os / conciliou-os com os vários sistemas internos com as suas estruturas de dados fixos. O mecanismo de aprendizagem foi capaz de processar rapidamente milhões de transações históricas, exibir exceções e desfasamentos, e sugerir regras de correspondência. A empresa foi capaz de embarcar 2 trocas por dia, em vez de 2 por mês.

exemplo #3: Aquisição de uma nova carteira de empréstimos empresariais a outro mutuante

um banco regional adquiriu uma carteira de vários milhares de empréstimos empresariais a um concorrente. O processo de onboarding para estes empréstimos exigiria clientes Onboarding, KYC / AML, Tesouro, limites, Tecnologia, Gestão de projetos, contas a receber, a equipe de operações de empréstimo do banco de venda e, potencialmente, as equipes de financiamento dos mutuários.

os dados foram alojados no banco de venda em diferentes sistemas e formatos, e estava ligado a diferentes registros de clientes e de crédito. Onboarding the loan data required analyzing the data, matching with the bank’s internal LMS, identifying mismatches and gaps, creating reconciliation rules, and matching it to internal customer records. Isto teve de ser feito antes de os empréstimos poderem ser geridos, incluídos em P&L e cálculos de risco, e facturados. A equipa interna do banco estimou que a incorporação da carteira de empréstimos exigiria 5-6 meses com os seus sistemas existentes, com análise de todos os empréstimos necessários.

o banco optou por implementar um sistema de reconciliação baseado em nuvem com capacidades de aprendizagem por máquina. A carteira de empréstimos e os registos de clientes associados e de pagamentos foram introduzidos no sistema e coincidiram com os registos internos de LMS e de contabilidade do banco. O sistema foi capaz de corresponder aproximadamente 65% dos dados aos registros internos em um dia, e apresentou os dados restantes em um painel central para resolução. Todo o portfólio foi embarcado em 2 semanas, incluindo novas regras de correspondência e registros, controles e importação para o LMS da empresa.

In a Nutshell

As these examples show, basic machine learning capabilities can be leveraged to rapidly meet business and regulatory requirements where traditional structured data approaches fail. Com a velocidade da mudança nos Serviços Financeiros, investigar como a aprendizagem de máquinas pode ser usada para a reconciliação de dados em sua empresa pode resultar em benefícios significativos.

Deixe uma resposta

O seu endereço de email não será publicado.