Spark-机器学习 Ch3 3.2 3.3

3.2.2探索电影数据

Spark-机器学习 Ch3 3.2 3.3

提供了一个处理不完整数据的思路:

用命名函数convert_year处理不完整数据,再用filter()进行过滤。


3.3处理与转换数据

Spark-机器学习 Ch3 3.2 3.3

非规整数据和缺失数据填充:

1.用mean median 求平均数、中位数

2.用where找到位置

3.进行填充