数仓建设

DataX 数据同步工具

有比较多的任务都会受到反压导致任务延迟不断升高，造成反压的主要原因是计算任务处理不过来，如何根据指标定位到反压的具体原因对解决反压问题非常重要。

Flink 流式计算

Flume 分布式日志收集系统

Maxwell是一个用于MySQL数据库的开源数据变更捕获工具。它的主要作用是监控MySQL数据库的变更，捕获这些变更并将它们以易于处理的格式发送到其他系统，例如消息队列或文件。这有助于实现实时数据同步、日志分析等应用场景。

在进行数据开发的过程中，我们会经常使用到一些函数，针对 Spark 作业进行参数配置以及对作业的运维。

Hive 是基于 Hadoop 的一个数据仓库工具，主要用于处理大规模结构化和半结构化数据。它通过类 SQL 的查询语言（HQL，Hive Query Language）将数据查询任务转换为 MapReduce、Tez 或 Spark 等分布式计算框架的作业，让熟悉 SQL 的用户无需编写复杂的分布式程序就能高效分析海量数据。Hive 适合离线数据分析场景，支持数据的提取、转换、加载（ETL），以及数据存储、查询和分析，常被用于构建企业级数据仓库，帮助业务人员从海量数据中挖掘价值。

分析 Spark 架构，包括 SQL 解析、逻辑计划、物理计划、执行计划等。