【PySpark系列（四）】SparkSQL中partition by和group by区别及使用

一、partition by和group by区别和联系

1）group by是分组函数，partition by是分区函数。

2）sum()、avg()等是聚合函数，一般和group by连用。

3）在执行顺序上，以下是常用sql关键字的优先级

from > where > group by > having > order by

而partition by应用在以上关键字之后，实际上就是在执行完select之后，在所得结果集之上进行partition。

4）partition by相比较于group by，能够在保留全部数