Fundamentos de Ingeniería de Datos: Pipelines, Almacenes y ETL

La primera vez que alguien te pide que "configures un panel de ingresos diario a partir de la base de datos de producción", la respuesta honesta es que no tienes idea por dónde empezar. Sabes escribir SQL. Has usado una base de datos. Quizás has oído hablar de dbt y Airflow. Pero la brecha entre "puedo consultar datos" y "puedo construir un pipeline que no se pudra silenciosamente" es la brecha que este curso está diseñado para cerrar. Recorremos el ciclo de vida de la ingeniería de datos de Reis y Housley en *Fundamentals of Data Engineering*: generación, almacenamiento, ingesta, transformación, servicio — y los cuatro arquetipos de pipeline a los que se reduce la mayor parte del trabajo analítico real: un ELT por lotes diario en un almacén en la nube, la misma idea externalizada a conectores gestionados como el stack de datos moderno, CDC y Kafka en un lakehouse para análisis casi en tiempo real, y un agregador en streaming para los casos en que los segundos importan. Para cada uno, la lección son las decisiones, no la lista de herramientas: almacén versus lago versus lakehouse, ETL versus ELT, modelo dimensional versus una gran tabla, batch versus streaming. El canon dimensional — hechos, dimensiones, granularidad, dimensiones de cambio lento, dimensiones conformadas — proviene del *Data Warehouse Toolkit* de Kimball. La intuición sobre motores de almacenamiento y procesamiento de flujos proviene de *Designing Data-Intensive Applications* de Kleppmann. Nada de esto es marketing de proveedores. Lo que separa un pipeline que vive en producción de un script que se ejecutó una vez es la confiabilidad, por lo que no es una ocurrencia tardía aquí. Construirás idempotencia en cada escritura, agregarás pruebas de calidad de datos que fallen alto, definirás SLOs de frescura que coincidan con lo que tus consumidores realmente necesitan, y aprenderás una postura de guardia que no te agote. Al final, ante una nueva solicitud analítica, podrás defender un diseño en papel — fuentes, ingesta, almacenamiento, modelo, transformaciones, orquestación, monitoreo — antes de escribir una línea de código. Ese es el punto.