Apache Spark与pip安装不起作用
我试图在Python 11上安装Apache Spark,并在7月11日发布中使用了pip install python命令。然而,尽管这种成功安装,我可以在Python shell中运行Apache Spark与pip安装不起作用
from pyspark import SparkContext
,我不能运行
pyspark
或火花提交访问pyspark外壳,
spark-submit.
两者的错误是'找不到指定的路径'。我在Windows上,怀疑我错过了JAR文件的火花。 pip安装不应该照顾这个吗?
pyspark
和位置(应该是<spark install directory>\bin
)从您的路径中丢失。
您可以通过完全指定它们的位置,导航到它们的安装位置并运行pyspark
或将它们添加到您的系统路径来运行它们。
谢谢!这部分工作,但遇到了另一个错误。我导航到Python27/Lib/site-packages/pyspark/bin,他们在那里。但是,我如何得到以下消息: '无法找到Spark jars目录。 您需要在运行此程序之前构建Spark。看起来我需要使用Maven构建它,但我认为pip安装的全部要点是为了避免这一点? @timchap –
尝试[这个问题](https://stackoverflow.com/questions/27618843/why-does-spark-submit-and-spark-shell-fail-with-failed-to-find-spark-assembly-j )。 – timchap
应该已经谷歌搜索第二个错误。谢谢你的帮助! –
请阅读http://blog.prabeeshk.com/blog/2015/04/07/self-contained-pyspark-application/ –