我们如何检查数据帧列的值是否为空？

问题描述：

我想从一个数据帧读取列的值，并检查该值是不是null，值的长度是< = 500我们如何检查数据帧列的值是否为空？

我的代码：

import org.apache.spark.sql.functions._ 

object OmegaProcess 
{ 
    // Some scala lines of Code 

.... 
val line_flag = generateomegaLineFlag(omegaDF) 

def generateomegaLineFlag(omegaDF: DataFrame): Int = { 

    if (omegaDF("omega_file_name") != null && length(omegaDF("omega_file_name")) <= 500) 
     { 
      //Some Lines of code ..... 

     } 
100 
    } 

}

但它不编译，因为下面的错误

Type mismatch expected :Boolean, actual: Column

有人能帮我解决这个问题吗？

答

尝试使用isNotNull检查aganist NULL值

if (omegaDF("omega_file_name").isNotNull && length(omegaDF("omega_file_name")) <= 500)

我们如何检查数据帧列的值是否为空？

相关推荐