Desarrollo y operación de una plataforma de datos web.
Lideré el desarrollo del motor de datos y trabajé en el backend, los workers, la infraestructura y los despliegues.
El nombre del cliente y los resultados cuantitativos no son públicos.
La plataforma
La plataforma recopilaba y procesaba datos de múltiples fuentes web. Su operación se apoyaba en servicios Python, workers, bases de datos y servicios AWS.
Mi trabajo abarcó el motor de datos, componentes en producción y los procesos para desplegarlos y gestionarlos.
Mis responsabilidades
Trabajé en desarrollo, operación en producción y automatización de despliegues.
Motor de datos
Lideré el desarrollo del motor que recopilaba y procesaba datos web con Scrapy, Django y Celery.
Operación en producción
Fui responsable de componentes de servicios, workers, colas, bases de datos, infraestructura de proxies y servicios de ejecución de AWS.
Automatización de despliegues
Rediseñé los procesos para automatizar despliegues, migraciones de base de datos y la gestión de workers y servicios.
Componentes del sistema
El motor de recopilación trabajaba junto a servicios de aplicación, procesamiento mediante colas, almacenamiento persistente e infraestructura AWS.
- Motor de datos web
- Scrapy · infraestructura de proxies
- Servicios de aplicación
- Django
- Workers y colas
- Celery · Redis · SQS
- Datos persistentes
- PostgreSQL
- Servicios cloud
- ECS · Lambda · CloudWatch
- Herramientas de despliegue
- GitLab CI/CD · Docker · Terraform
¿Trabajas en una plataforma de datos?
Cuéntame qué fuentes necesitas, dónde deben llegar los datos y cómo funciona el sistema actual.