Spark之functions

前言

Spark源码中的org.apache.spark.sql包下有一个叫做functions.scala的文件，该文件包含了大量的内置函数，尤其是在agg中会广泛使用（不仅限于此）

这些内置函数可以极大的简化spark数据分析，到Spark2.2已经拥有307个函数，只有通过大量实践才能熟练掌握

函数分类

UDF自定义函数、聚合函数、日期时间函数、排序函数、非聚合函数、数学函数、窗口函数、字符串函数、集合函数、其他函数等，如下所示。

1. Functions函数功能可用于DataFrame的操作。
2. @groupname udf_funcs UDF自定义函数
3. @groupname agg_funcs聚合函数
4. @groupname datetime_funcs日期时间函数
5. @groupname sort_funcs排序功能
6. @groupname normal_funcs非聚合函数
7. @groupname math_funcs数学函数
8. @groupname misc_funcs其他功能
9. @groupname window_funcs窗口函数
10. @groupname string_funcs字符串函数
11. @groupname collection_funcs集合函数功能
12. @groupname DataFrames不分组支持功能
13. @since自从1.3.0

API汇总

后记

看到这么多函数，是不是很happy啊，哈哈，赶紧登陆官网慢慢享受吧