首先在maven项目的pom.xml中添加Spark SQL的依赖。
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.10</artifactId>
    <version>1.5.2</version>
</dependency> 

[Scala] 纯文本查看 复制代码

01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37

package[url=http://www.aboutyun.com]www.aboutyun.com[/url]   importorg.apache.spark.{SparkConf, SparkContext} importorg.apache.spark.sql.SQLContext   objectInferringSchema {   defmain(args:Array[String]) {       //创建SparkConf()并设置App名称     valconf =new  SparkConf().setAppName("aboutyun")     //SQLContext要依赖SparkContext     valsc =new  SparkContext(conf)     //创建SQLContext     valsqlContext =new  SQLContext(sc)       //从指定的地址创建RDD     vallineRDD =sc.textFile(args(0)).map(_.split(" "))       //创建case class     //将RDD和case class关联     valpersonRDD =lineRDD.map(x => Person(x(0).toInt, x(1), x(2).toInt))     //导入隐式转换，如果不到人无法将RDD转换成DataFrame     //将RDD转换成DataFrame     importsqlContext.implicits._     valpersonDF =personRDD.toDF     //注册表     personDF.registerTempTable("person")     //传入SQL     valdf =sqlContext.sql("select * from person order by age desc ")     //将结果以JSON的方式存储到指定位置     df.write.json(args(1))     //停止Spark Context     sc.stop()   } } //case class一定要放到外面 caseclass  Person(id:Int, name:String, age:Int)