Refatoração de Scraper de Dados no Santander
Otimização assíncrona de alta escala: redução de 24h para 6h (-75% no tempo) processando 22.000 requisições com bypass de Akamai e criptografia assimétrica.
Refatoração arquitetural de um scraper corporativo no portal do Santander que escalou de 1.000 para 22.000 clientes. A eliminação da camada de navegador (Selenium) e a migração para requisições assíncronas paralelas com engenharia reversa de criptografia proprietária e bypass de Akamai reduziu o tempo de execução de 24 horas para 6 horas (-75%).
De 24 horas para 6 horas (uma tarde)
Escala massiva de 1.000 para 22 mil clientes (+2.100%)
Requisições paralelas assíncronas sem camada de navegador
Akamai contornado e lib assimétrica replicada com Grok no Cursor
Execução pontual de scripts ofuscados do Akamai para validação de sessão
Reversão do algoritmo interno com Grok no Cursor para cifrar/decifrar payloads
Substituição do Selenium por HTTP concorrente para 22.000 clientes
Processamento concluído em uma única tarde com 100% de integridade
Diagnóstico & Engenharia da Solução
Detalhamento de problemas, objetivos, arquitetura, decisões técnicas e aprendizados consolidados.
1. O Problema Identificado
Cenário e gargalos anteriores:
Com a explosão de 1.000 para 22.000 raspagens, o robô baseado em Selenium levava mais de 24 horas ininterruptas de processamento. A sobrecarga de memória do navegador, a lentidão de renderização do DOM e a instabilidade de conexões prolongadas tornavam a operação vulnerável a falhas e inviável para o negócio.
2. O Objetivo Técnico
Meta e requisitos da solução:
Refatorar completamente o scraper eliminando a camada pesada do navegador e construindo uma arquitetura de requisições paralelas assíncronas. Os requisitos incluíam contornar a proteção anti-bot do Akamai e decodificar a criptografia assimétrica proprietária do portal para concluir todo o lote de 22.000 clientes no intervalo de uma tarde (até 6 horas).
3. Estrutura da Solução
Substituição do Selenium por requisições HTTP assíncronas paralelas, contornando o anti-bot Akamai com Playwright e replicando a criptografia assimétrica do portal via engenharia reversa com Grok no Cursor.
4. Decisões Técnicas Relevantes & Trade-offs
Migração de Selenium para Requisições Assíncronas Diretas
O navegador consumia gigabytes de memória e adicionava dezenas de segundos por página. Disparar chamadas HTTP assíncronas reduziu o tempo por requisição para centenas de milissegundos e permitiu paralelismo real.
Playwright Pontual para Validação de Sessão Akamai
O Akamai coleta sinais profundos do navegador. Ao invés de usar navegador para as 22.000 consultas, o Playwright é acionado apenas para inicializar a sessão e obter tokens e cookies válidos para o motor assíncrono.
Reversão da Criptografia Assimétrica com Cursor & Grok 4.7
Os dados das requisições viajavam criptografados por uma biblioteca interna. A inspeção de rede combinada com a análise de código ofuscado pelo Grok 4.7 no Cursor permitiu reproduzir fielmente a lib de cifragem em Python puro.
5. Desafios & Aprendizados
- •Interpretação e engenharia reversa de scripts JavaScript ofuscados que implementavam criptografia assimétrica no front-end.
- •Contorno de telemetria anti-bot avançada do Akamai sem disparar captchas ou bloqueios de IP corporativo.
- •Calibração de semáforos assíncronos para processar 22.000 requisições em paralelo sem estourar conexões do servidor de destino.
Minha Contribuição Específica
Papel técnico e entregas diretas:
Diagnóstico e redesign arquitetural completo do robô, migrando de Selenium para chamadas assíncronas; engenharia reversa da biblioteca de criptografia assimétrica com auxílio de IA no Cursor IDE; estratégia de handshake e extração de tokens do Akamai via Playwright; e implementação de paralelismo assíncrono com rate limit para 22.000 clientes em produção.