数据工程基础：管道、仓库和ETL
甄选并验证：Arjun Mehta, Data Scientist, Coinbase当有人第一次要求你“从生产数据库建立一个每日收入仪表板”时，诚实的答案是，你完全不知道从何入手。你会写SQL。你用过数据库。也许你听说过dbt和Airflow。但是，“我能查询数据”和“我能构建一个不会默默腐烂的管道”之间的差距，正是本课程旨在弥合的。 我们将走过Reis和Housley的《数据工程基础》中描述的数据工程生命周期——生成、存储、摄取、转换、服务——以及大多数实际分析工作归结为的四种管道原型：每日批量ELT到云数据仓库；同样的想法外包给托管连接器，作为现代数据栈；CDC和Kafka进入湖仓一体，用于近实时分析；以及一个流式聚合器，用于那些秒级重要的场景。对于每一种，课程的重点是决策，而不是工具列表：数据仓库与数据湖与湖仓一体、ETL与ELT、维度模型与一张大表、批处理与流处理。维度标准——事实、维度、粒度、缓慢变化维度、一致性维度——来自Kimball的《数据仓库工具包》。存储引擎和流处理直觉来自Kleppmann的《设计数据密集型应用》。这些都不是供应商营销。 区分一个在生产中运行的管道和一个只运行过一次的脚本的是可靠性，因此在这里它不是一个事后考虑。你将在每次写入中构建幂等性，添加大声失败的数质测试，定义与你的消费者实际需求匹配的新鲜度SLO，并学习一种不会让你筋疲力尽的待命姿态。到最后，面对一个新的分析请求，你可以在写一行代码之前，在纸上论证一个设计——源、摄取、存储、模型、转换、编排、监控。这就是重点。
课程目录
关于课程作者
The common thread in Arjun Mehta’s work is the journey from an uncertain question to a decision someone can defend. He has forecast demand for retail operations, modeled customer attrition for subscription products, built language systems that classify support conversations, and analyzed healthcare data to identify variations in patient outcomes. Depending on the problem, Arjun may design an experiment, train a predictive model, construct a data pipeline, or conclude that a simpler statistical analysis provides the more reliable answer. He works primarily with Python, SQL, Spark, and cloud-based machine-learning platforms, but places equal emphasis on data quality, model monitoring, privacy, and clear communication. Now leading a multidisciplinary data-science team, he remains closely involved in the work between prototype and production, where analytical promise must become a dependable part of everyday operations.
评价 (5)
- jubilant_spider
nice and clear
- calm_wolf
great course
- chestnut_joey
太基础了
- snappy_leopard
super helpful, thx!
- rambling_inventor
love it 👍