A migração de dados de servidores locais para o armazenamento em nuvem é uma tarefa importante para todo o tipo de negócio. Essa transição se torna ainda mais delicada quando a companhia em questão é do porte da B3. Nesse caso, o desafio coube à BRLink, que realizou a transferência dos dados on-premise de uma das plataformas da B3 para um ambiente de Big Data na nuvem AWS.
A plataforma de processamento de dados atendia o segmento de Financiamentos da B3 e funcionava completamente on-premise, ou seja, seu ecossistema de hardwares e softwares estava instalado em data center dentro da empresa. O modelo, já defasado e restrito do ponto de vista de recursos, exigia alto custo de manutenção e não entregava as capacidades analíticas necessárias para atender às demandas da companhia e de seus clientes.
Em 2021, a B3 contratou a AWS como sua fornecedora de cloud para a área de dados, que então indicou a BRLink para a construção da plataforma de dados na nuvem. Juntas, as empresas trabalharam em etapas de pavimentação, conectividade e criação do framework para a realização da migração de dados. O desafio era desativar o ambiente on-premise, e migrar uma enorme quantidade de dados para a nuvem, conectar os processos ao novo ambiente e garantir que todas as funcionalidades estivessem validadas e funcionando, sem qualquer prejuízo para a equipe interna ou para os clientes.
“A partir da coleta e análise de dados foi iniciado o processo de migração, com extração de volumes relevantes, para ajudar a melhorar a eficiência e a qualidade dessas informações, além de identificar áreas que necessitavam de reparos ou manutenção”, explica Rafael Marangoni, Diretor da Unidade de Negócios da BRLink. “Nesse processo, utilizamos ferramentas de gerenciamento da AWS para atender os requisitos e conformidade do sistema, automatizando o controle de serviços com uso de scripts.”
No passo seguinte, as bases de dados foram divididas em três grandes grupos: plataforma e sistemas transacionais; dados de parceiros; dados originados de provedores. Alguns dos desafios para a migração foram os volumes expressivos dos dados, a orquestração das diversas arquiteturas, o refinamento de informações, a validação e a verificação dos dados migrados e o tempo de implementação. Também foram criadas rotinas de validação dos dados, a fim de detectar informações sensíveis para atender os requisitos da LGPD.
Para agilizar o trabalho, a solução foi apoiada por um framework com objetivo de padronizar funcionalidades e estruturas já programadas, além de garantir mais produtividade e qualidade no desenvolvimento do projeto e na criação e monitoramentos dos clusters. Dessa forma, todos os servidores passariam a funcionar corretamente, e a carga de trabalho seria distribuída uniformemente entre eles.
“Este projeto significou um grande passo para a estratégia de modernização da B3 e foi um dos principais movimentos em cloud da companhia. Conseguimos migrar os dados e funcionalidades da plataforma com sucesso, como se fosse uma extensão do ambiente que já tínhamos, mas agora com capacidade analítica, potencial de processamento e escalabilidade muito maiores”, comenta Marco Pavan, gerente de Engenharia de Dados da B3.
Além do aumento de capacidade analítica, a B3 obteve redução de custos fixos (seja na manutenção ou na atualização dos softwares), incremento na segurança da informação (com recuperação de dados e criptografia), suporte técnico especializado para o serviço e maior intuição no uso de plataformas, além de ganhos em escalabilidade e implementação de arquitetura de dados mais moderna.
