Dagster

Dagster 是什么

Dagster 是一个面向数据与 AI 流水线的编排平台。官网描述的是一个统一控制平面，覆盖数据编排、可观测性、目录与血缘，还提到一个用于 Slack 的 AI 分析师。

它支持 ETL 与 ELT、dbt、Databricks、Python 转换以及 AI 或 ML 工作流。

你可以用它做什么

• 编排数据与 AI 流水线
• 看清资产血缘与目录
• 监控运行与失败
• 协调数据团队的工作

适合谁使用

• 数据工程团队
• ML 平台团队
• 分析工程团队

需要留意什么

• 它做编排与监控，不替你设计数据模型或业务逻辑
• 可靠性取决于任务设计、数据质量与团队治理
• 它更适合有持续流水线的团队，而不是一次性脚本
• 自托管会带来运维责任