数据开发常用大数据 Hive Spark Flink 在进行数据开发的过程中,我们会经常使用到一些函数,针对 Spark 作业进行参数配置以及对作业的运维。Published On1 个月前Read more →
Hive大数据 Hive Hive 是基于 Hadoop 的一个数据仓库工具,主要用于处理大规模结构化和半结构化数据。它通过类 SQL 的查询语言(HQL,Hive Query Language)将数据查询任务转换为 MapReduce、Tez 或 Spark 等分布式计算框架的作业,让熟悉 SQL 的用户无需编写复杂的分布式程序就能高效分析海量数据。Hive 适合离线数据分析场景,支持数据的提取、转换、加载(ETL),以及数据存储、查询和分析,常被用于构建企业级数据仓库,帮助业务人员从海量数据中挖掘价值。Published On5 个月前Read more →