OMG! IT'S YUSUF

Pastikan beberapa package dibawah sudah terpasang di local machine terlebih dahulu:

Python

Java

Scala/SBT

Kalau semua sudah terpasang, download Spark di official website nya disini - saya menggunakan Spark 2.1 karena lebih stabil. Extract menggunakan tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz. Pindahkan folder hasil extraksti, spark-2.1.2-bin-hadoop2.7, ke /opt di root.

mv spark-2.1.2-bin-hadoop2.7 /opt/spark21

dan sekarang Spark ada di folder spark21.

Tambahkan beberapa command dibawah ke dalam .bashrc.

export SPARK_HOME=/opt/spark21 export PATH=$SPARK_HOME/bin:$PATH export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

dan restart terminal.

Coba buka Python lewat terminal dan jalan kan, import pyspark. Apabila tidak gagal, selamat, PySpark sudah terinstall dan ter-integrasi dengan Python.

Referensi:

https://blog.sicara.com/get-started-pyspark-jupyter-guide-tutorial-ae2fe84f594f