实验设计、A/B测试与因果思维
甄选并验证：Arjun Mehta, Data Scientist, Coinbase大多数实验都悄无声息地失败。你运行一个测试，看到2%的提升，就发布了改动，并假设它有效。但这个提升其实是噪声。或者存在混杂因素（高价值用户先采用，他们本来就消费更多）。或者偷看偏差（你在中途查看结果并幸运地得到了显著结果）。或者你的指标噪声太大，无法检测到真实效果。几个月后，该功能表现不佳，你开始困惑到底哪里出了问题。 实验是商业中因果推理的黄金标准——它们是你回答“这真的有效吗？”而不是猜测的方法。但运行一个有效的实验需要的不仅仅是直觉。它需要提出精确的假设，选择真正衡量影响的指标，计算所需用户数量，正确随机化，抵制偷看的冲动，严格分析结果，并区分相关性和因果关系。 本课程教授完整生命周期。你将学习统计学和因果基础——为什么随机化能打破混杂，p值实际含义，统计功效与样本量的关系。你将设计有效的实验：选择指标，规划样本量，选择随机化方案，并在数据质量问题破坏结果之前发现它们。你将安全执行：监控实验，避免偷看偏差，设定停止规则。你将严格分析：解释效应量，发现假阳性，研究异质性效应。你还会知道当随机化不可行时——当伦理或后勤不允许实验时，倾向得分匹配和因果图等观察性方法是强大的工具。 课程强调实用决策而非纯理论。你将学会识别常见陷阱——均值回归、多重检验膨胀、选择偏差——并修复它们。你将建立每种方法适用时机的思维模型。你还将养成在实验前预先注册分析计划的习惯，这样数据就不会引诱你进行p值篡改。 到课程结束时，你将掌握计划、运行和解释真正告诉你什么有效的实验的技能。不是直觉。不是预感。而是证据。
课程目录
关于课程作者
The common thread in Arjun Mehta’s work is the journey from an uncertain question to a decision someone can defend. He has forecast demand for retail operations, modeled customer attrition for subscription products, built language systems that classify support conversations, and analyzed healthcare data to identify variations in patient outcomes. Depending on the problem, Arjun may design an experiment, train a predictive model, construct a data pipeline, or conclude that a simpler statistical analysis provides the more reliable answer. He works primarily with Python, SQL, Spark, and cloud-based machine-learning platforms, but places equal emphasis on data quality, model monitoring, privacy, and clear communication. Now leading a multidisciplinary data-science team, he remains closely involved in the work between prototype and production, where analytical promise must become a dependable part of everyday operations.
评价 (3)
- silent_squirrel
太基础了，没什么新东西。
- wise_chipmunk
좋아요!
- hushed_swan
love the clarity!