大数据系列：PySpark学习笔记（一）
介绍
在处理和使用大数据时， Apache Spark是使用最广泛的框架之一，而 Python是用于数据分析，机器学习等的最广泛使用的编程语言之一。那么，为什么不一起使用它们呢？这就是Spark with Python（也称为 PySpark）出现的地方。
由于Python有着丰富的库集，当今大多数数据科学家和分析专家都在使用Python 。Spark是用Scala语言开发的，它与Java非常相似。它将程序代码编译为JVM的字节码，以进行大数据处理。为了使用Python支持Spark，Apache Spark社区发布了PySpark。两个方面的优点结合在一起带来工作效率的提升。 在这个文章中，我将讨论以下内容：
- Apache Spark简介及其功能
- 为什么要使用Python？
- 使用Python设置Spark（PySpark）
- PySpark SparkContext和数据流
- PySpark RDD用例
Apache Spark简介
Apache Spark是由Apache Software Foundation开发的用于实时处理的开源集群计算框架。Spark提供了一个接口，用于使用隐式数据并行性和容错性对整个集群进行编程。
以下是Apache Spark的一些功能，这些功能使其比其他框架更具优势：
- 速度：它比传统的大规模数据处理框架快100倍。
- 强大的缓存：简单的编程层提供了强大的缓存和磁盘持久性功能。
- 部署： 可以通过Mesos，通过Yarn的Hadoop或Spark自己的集群管理器进行部署。
- 实时： 实时计算和低延迟（由于内存计算）。
- 多种语言：它是此框架的最重要功能之一，因为可以用Scala，Java，Python和R进行编程。
为什么要使用Python？
尽管Spark是在scala中设计的，这使其速度比Python快10倍，但是Scala仅在使用的内核数较少时才更快。由于当今大多数分析和过程都需要大量内核，因此Scala的性能优势并不那么多。
对于程序员而言，由于其语法和标准库，Python 相对容易 学习。而且，它是一种动态类型化的语言，这意味着RDD可以容纳多种类型的对象。
尽管Scala具有SparkMLlib，但是它没有足够的库和工具来满足机器学习和NLP的目的。而且，Scala缺乏数据可视化。
使用Python设置Spark（PySpark）
假定您已经知道如何下载spark并安装它。因此，一旦您解压缩了spark文件，将其安装并添加到.bashrc文件的路径，则需要输入source .bashrc
要打开pyspark shell，您需要输入以下命令 ./bin/pyspark
PySpark SparkContext和数据流
Py4j库使用Python与Spark交互来使用RDD。PySpark Shell将Python API链接到spark核心并初始化Spark Context。Spark上下文是任何Spark 应用程序的核心。
- Spark上下文设置内部服务并建立与Spark执行环境的连接。
- 驱动程序中的sparkcontext对象协调所有分布式过程并允许资源分配。
- 集群管理器提供执行器，它们是具有逻辑的JVM进程。
- SparkContext对象将应用程序发送给执行者。
- SparkContext在每个执行程序中执行任务。
PySpark RDD用例
现在，让我们看一下RDD的用例。在这里，我们使用一个数据集examples.csv作为范例
创建RDD：
现在我们可以使用该文件来创建RDD。
data_file = "./data/examples.csv" raw_data = sc.textFile(data_file)
过滤（filter）：
假设我们要计算多少正常。我们在数据集中的互动。我们可以如下过滤 raw_data RDD。
计数（count）：
现在，我们可以统计有多少元素在新RDD。
normal_raw_data.count()
输出：
map：
在这种情况下，我们希望以CSV格式读取数据文件。我们可以通过对RDD中的每个元素应用lambda函数来做到这一点，如下所示。在这里，我们将使用map（）和take（）转换。
split_file = normal_raw_data.map(lambda line: line.split(","))
输出：
[[u'10', u'上海', u'17', u'A2', u'M'], [u'11', u'上海', u'14', u'B2', u'M']]
collect：
在这里，我们将使用collect（）动作。它将把RDD的所有元素都存储到内存中。因此，在处理大型RDD时必须谨慎使用。
split_file.collect()
输出：
[[u'10', u'上海', u'17', u'A2', u'M'], [u'11', u'上海', u'14', u'B2', u'M']]
当然，这花费的时间比我们之前使用的任何其他操作更长。每个具有RDD片段的Spark工作者节点都必须进行协调，以便检索其组成部分，然后一起缩减所有内容。
如果发现任何不正确的地方，或者想分享有关上述主题的更多信息，欢迎反馈。