Spark SQL和Hive常用函数有哪些具体应用？

窗口函数与分析函数->关注清哥聊技术公众号，了解更多技术文章 应用场景： （1）用于分区排序 （2）动态Group By （3）Top N （4）累计计算 （5）层次查询 窗口函数 FIRST_VALUE：取分组内排序后，截止到当前行，第一个值 LAST_VALUE： 取分组内排序后，截止到当前行，最后一个值 LEAD(col,n,DEFAULT) ：用于统计窗口内往下第n行值。第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL） LAG(col,n,DEFAULT) ：与lead相反，用于统计窗口内往上第n行值。第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL） OVER从句 1、使用标准的聚合函数COUNT、SUM、MIN、MAX、AVG 2、使用PARTITION BY语句，使用一个或者多个原始数据类型的列 3、使用PARTITION BY与ORDER BY语句，使用一个或者多个数据类型的分区或者排序列 4、使用窗口规范，窗口规范支持以下格式： 当ORDER BY后面缺少窗口从句条件，窗口规范默认是 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. 当ORDER BY和窗口从句都缺失, 窗口规范默认是 ROW BETWEEN UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING. OVER从句支持以下函数， 但是并不支持和窗口一起使用它们。 Ranking函数: Rank, NTile, DenseRank, CumeDist, PercentRank. Lead 和 Lag 函数. 分析函数 ROW_NUMBER() 从1开始，按照顺序，生成分组内记录的序列,比如，按照pv降序排列，生成分组内每天的pv名次,ROW_NUMBER()的应用场景非常多，再比如，获取分组内排序第一的记录;获取一个session中的第一条refer等。 RANK() 生成数据项在分组中的排名，排名相等会在名次中留下空位 DENSE_RANK() 生成数据项在分组中的排名，排名相等会在名次中不会留下空位 CUME_DIST 小于等于当前值的行数/分组内总行数。比如，统计小于等于当前薪水的人数，所占总人数的比例 PERCENT_RANK 分组内当前行的RANK值-1/分组内总行数-1 NTILE(n) 用于将分组数据按照顺序切分成n片，返回当前切片值，如果切片不均匀，默认增加第一个切片的分布。NTILE不支持ROWS BETWEEN，比如 NTILE(2) OVER(PARTITION BY cookieid ORDER BY createtime ROWS BETWEEN 3 PRECEDING AND CURRENT ROW)。 增强的聚合 Cube和Grouping 和Rollup 这几个分析函数通常用于OLAP中，不能累加，而且需要根据不同维度上钻和下钻的指标统计，比如，分小时、天、月的UV数。 GROUPING SETS 在一个GROUP BY查询中，根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL, 其中的GROUPING__ID，表示结果属于哪一个分组集合。 CUBE 根据GROUP BY的维度的所有组合进行聚合。 数学函数 round(double d, int n):返回保留n位小数的近似d值 floor(double d): 返回小于d的最大整值 ceil(double d): 返回大于d的最小整值 rand(int seed): 返回随机数,seed是随机因子 bin(int d): 计算二进制值d的string值 日期函数 to_date(string timestamp):返回时间字符串中的日期部分,如to_date('1970-01-01 00:00:00')='1970-01-01' current_date:返回当前日期 year(date)：返回日期date的年,类型为int如year('2019-01-01')=2019 month(date)：返回日期date的月,类型为int,如month('2019-01-01')=1 day(date): 返回日期date的天,类型为int,如day('2019-01-01')=1 weekofyear(date1)：返回日期date1位于该年第几周。