Resumo Executivo
A EximiaCo colaborou com a ScanSource para desenvolver uma solução de ETL robusta, utilizando a infraestrutura Azure para integrar dados de múltiplas fontes, incluindo bases na nuvem, locais e planilhas Excel. A solução emprega o Azure Data Factory (ADF) para transformações no-code e PySpark para processamento complexo, carregando dados tanto em data warehouses quanto em data lakes. Isso possibilitou a geração de insights comerciais críticos em near real time, acessíveis via relatórios dinâmicos para todos os níveis da organização, da alta gestão aos colaboradores comissionados.
Situação (antes da nossa atuação)
Antes da intervenção da EximiaCo, a ScanSource enfrentava desafios significativos com a demora na atualização de relatórios, o que atrasava a obtenção de insights comerciais vitais. A frequência insuficiente de atualizações limitava a capacidade da empresa de responder rapidamente às mudanças de mercado e às necessidades internas, impactando negativamente suas operações comerciais.
Implicações
A incapacidade de acessar dados atualizados e confiáveis em tempo hábil estava diretamente prejudicando a tomada de decisão na ScanSource. Esse atraso na obtenção de insights comerciais importantes não só reduzia a eficiência operacional, mas também comprometia a capacidade de reação da empresa frente às dinâmicas de mercado e oportunidades emergentes.
O que fizemos
A EximiaCo projetou e implementou, do zero, uma infraestrutura de ETL utilizando o stack Azure. O processo envolveu desde o provisionamento de runtimes de integração até a integração de painéis utilizando PowerBI Embedded em aplicações ASP.NET e SPAs. A estratégia adotada incluiu a utilização de gateways integrados seguros para extrair dados, o uso do ADF para transformações no-code e o PySpark para processamentos mais complexos. Além disso, a EximiaCo desempenhou um papel crucial na formação de um time dedicado de dados na ScanSource, participando ativamente nos processos de entrevistas e onboarding.
Entregáveis
Foram entregues todos os pipelines, estruturas de dados, infraestrutura necessária e a metodologia de trabalho. Também foi realizado um processo de discovery para identificar as principais necessidades de dados da ScanSource, garantindo que a solução desenvolvida atendesse eficazmente às suas demandas específicas.
