Resumo
O cliente dedica tempo a recolher e preparar manualmente registos de fontes variadas.
A solução tornou-se num fluxo repetível de web scraping e limpeza de dados para extração, validação e exportação.
O software foi concebido para reduzir o tempo de preparação manual e os erros antes de os dados chegarem ao destino.
História do cliente
O cliente é uma empresa de processamento de dados do Luxemburgo. Consolida registos de websites, bases de dados e APIs para utilização posterior.
A recolha e a preparação manuais demoram tempo porque as fontes têm estruturas e formatos diferentes. Os campos inconsistentes também geram retrabalho antes da exportação ou importação.
O pedido era simples: criar fluxos repetíveis baseados em Python, linha de comandos, notebooks ou aplicações. Estes deveriam extrair, limpar e validar os dados antes de os enviar para o destino necessário.
A solução foi estruturada em torno da configuração das fontes, de uma área de limpeza e validação e de uma exportação estruturada. As regras para campos, esquemas e destinos ficaram visíveis para que a equipa do cliente pudesse trabalhar com os seus próprios padrões.
O cliente pediu
- Executar fluxos repetíveis baseados em Python, linha de comandos, notebooks ou aplicações.
- Exportar resultados limpos como CSV, Excel, Parquet, JSON, Sheets, texto ou SQL.
- Limpar, normalizar, transformar, eliminar duplicados, filtrar, ordenar e consolidar dados.
- Disponibilizar registos, relatórios de erros, documentação, instruções de configuração, código e dependências.
Por que razão o software pronto a usar não era adequado
Os produtos prontos a usar cobrem partes da tarefa: recolha na Web, extração gerida, integração de dados ou regras de scraping configuráveis. O projeto descreve capacidades separadas para extração, limpeza e validação das fontes. Também descreve o mapeamento de destinos e a elaboração de relatórios. Por isso, o fluxo completo do cliente exigia uma combinação própria.
Visão geral do projeto
A solução foi concebida em torno de três etapas: configuração das fontes e da extração, limpeza e validação, e exportação estruturada. Assim, o percurso desde o registo de origem até ao destino fica claro.
O primeiro ecrã reúne websites, bases de dados e APIs numa única configuração. Também aceita ficheiros e define os campos e a estrutura de destino para cada execução.
Para lidar com formatos de origem variados, foram disponibilizados fluxos Python para extração e preparação. A análise de HTML, o acesso a bases de dados, a leitura de folhas de cálculo e a conversão de documentos suportam as fontes especificadas.
A área de limpeza apresenta valores originais e limpos, grupos duplicados e resultados de validação. As regras de limpeza e eliminação de duplicados preparam uma estrutura consistente.
A área de exportação mapeia colunas e esquemas para destinos CSV, Excel ou bases de dados. Os resumos de processamento e os registos de execução mantêm visível o estado de cada execução.
Foram incluídos documentação, instruções de configuração e código-fonte. As informações sobre dependências e os registos operacionais ajudam a equipa do cliente a gerir os fluxos e ajustá-los às suas próprias regras de dados.
Principais funcionalidades entregues
- Web scraping para páginas e campos selecionados
- Extração de bases de dados, APIs, ficheiros e documentos
- Fluxos repetíveis baseados em Python e aplicações
- Limpeza, normalização e transformação
- Deteção de duplicados e fusão de registos
- Validação de esquemas e campos
- Relatórios de registos ignorados e erros
- Exportação para CSV, Excel, Parquet, JSON, texto, Sheets e SQL
