Volver a soluciones
ingeniería de datos
scraping
analytics
CMBS
AWS

Data Forge

Plataforma de ingeniería de datos con scraping distribuido, pipelines completos de Data Engineering y prácticas SRE en AWS (SQS, SNS, Step Functions). Caso real de calidad enterprise para KBRA en el dominio CMBS.

Data Forge

Objetivos

Recolectar y procesar datos de mercado a escala con funciones distribuidas AWS
Proporcionar interfaz de visualización de datos integrada para advisors del mercado CMBS
Construir pipeline de datos confiable con validación y calidad de datos

Desafíos

Recolectar datos de mercado de múltiples fuentes heterogéneas de forma confiable y escalable
Garantizar calidad y validación de datos en un pipeline con alto volumen de información
Presentar datos complejos de mercado de forma accesible y útil para advisors

Soluciones Implementadas

Soluciones implementadas para garantizar escalabilidad, seguridad y eficiencia.

Pipeline de datos en 5 etapas: scraping, gestión, fetch, preprocesamiento y validación
Infraestructura AWS con Terraform (S3, EventBridge, RDS, SQS, SNS, Step Functions) y prácticas SRE para confiabilidad enterprise
Forge UI: dashboard React 19 con React Router 7, TailwindCSS y SSR para visualización de datos

Data Forge — Ingeniería de Datos de Mercado

Data Forge es una plataforma de ingeniería de datos desarrollada por DWCorp como outsourcing para KBRA, enfocada en scraping distribuido de datos de mercado y visualización para advisors del dominio CMBS.

Pipeline de Datos (5 Etapas)

  1. deal_access_scraper — Recolección de datos de mercado
  2. deal_manager — Gestión y organización de datos
  3. file_fetcher — Recuperación de archivos
  4. preprocessor — Preparación y limpieza de datos
  5. file_validator — Validación y control de calidad

Infraestructura (Terraform)

  • AWS S3 para almacenamiento de datos
  • AWS EventBridge para orquestación de eventos
  • AWS RDS para base de datos
  • AWS SSO para autenticación
  • Docker para containerización

Forge UI — Dashboard de Visualización

  • React 19 con React Router 7 y SSR
  • TailwindCSS 4 para estilización
  • Vite 6 para build rápido
  • Docker + Nginx para deploy en producción
  • ESLint + Prettier + Husky para calidad de código

Contexto

Desarrollado como proyecto de outsourcing para KBRA, Data Forge demuestra la capacidad de DWCorp en ingeniería de datos enterprise con alta complejidad y volumen.

Documentos de negociación en Data Forge

Detalles de préstamo en Data Forge