Voltar para soluções
engenharia de dados
scraping
analytics
CMBS
AWS

Data Forge

Plataforma de engenharia de dados com scraping distribuído, pipelines completos de Data Engineering e práticas SRE na AWS (SQS, SNS, Step Functions). Caso real de qualidade enterprise para KBRA no domínio CMBS.

Data Forge

Objetivos

Coletar e processar dados de mercado em escala com funções distribuídas AWS
Fornecer interface de visualização de dados integrada para advisors do mercado CMBS
Construir pipeline de dados confiável com validação e qualidade de dados

Desafios

Coletar dados de mercado de múltiplas fontes heterogêneas de forma confiável e escalável
Garantir qualidade e validação de dados em um pipeline com alto volume de informações
Apresentar dados complexos de mercado de forma acessível e útil para advisors

Soluções Implementadas

Soluções implementadas para garantir escalabilidade, segurança e eficiência.

Pipeline de dados em 5 estágios: scraping, gestão, fetch, pré-processamento e validação
Infraestrutura AWS com Terraform (S3, EventBridge, RDS, SQS, SNS, Step Functions) e práticas SRE para confiabilidade enterprise
Forge UI: dashboard React 19 com React Router 7, TailwindCSS e SSR para visualização de dados

Data Forge — Engenharia de Dados de Mercado

O Data Forge é uma plataforma de engenharia de dados desenvolvida pela DWCorp como outsourcing para a KBRA, focada em scraping distribuído de dados de mercado e visualização para advisors do domínio CMBS.

Pipeline de Dados (5 Estágios)

  1. deal_access_scraper — Coleta de dados de mercado
  2. deal_manager — Gestão e organização de dados
  3. file_fetcher — Recuperação de arquivos
  4. preprocessor — Preparação e limpeza de dados
  5. file_validator — Validação e controle de qualidade

Infraestrutura (Terraform)

  • AWS S3 para armazenamento de dados
  • AWS EventBridge para orquestração de eventos
  • AWS RDS para banco de dados
  • AWS SSO para autenticação
  • Docker para containerização

Forge UI — Dashboard de Visualização

  • React 19 com React Router 7 e SSR
  • TailwindCSS 4 para estilização
  • Vite 6 para build rápido
  • Docker + Nginx para deploy em produção
  • ESLint + Prettier + Husky para qualidade de código

Contexto

Desenvolvido como projeto de outsourcing para a KBRA, o Data Forge demonstra a capacidade da DWCorp em engenharia de dados enterprise com alta complexidade e volume.

Documentos de negociação no Data Forge

Detalhes de empréstimo no Data Forge