Instalasi BigData Apache Spark – Development Environment pada mac os

Posted on by feri

Menelaah perkembangan terkini, bigdata menjadi tren dalam dunia analisis data. Karena banyak orang mulai sadar, bahwa bisnis digital sebenarnya bermula dari data. Ada banyak yang dapat kita peroleh dengan adanya data ini seperti analisis tren penjualan, menentukan produk yang laku dipasaran dalam 1 tahun kedepan, mencari celah dalam persaingan bisnis yang kian ketat dan banyak hal lain yang dapat dikaji dari data.

Sebagai seorang software developer tentunya tidak boleh ketinggalan mengikuti tren ini, ada banyak hal yang dapat dilakukan dengan bigdata. Pada kesempatan kali ini kita akan belajar bagaimana melakukan instalasi salah satu opensource bigdata platform, yaitu apache spark pada mesin development mac os kita.

apache spark stack element

Apa itu apache spark? apache spark merupakan produk opensource yang berupa stack (sekumpulan) produk untuk menjalankan environtment big data. Component apache spark terdiri dari  SQL and DataFrames, MLlib untuk machine learning, GraphX, dan Spark Streaming. merupakan paket yang lumayan lengkap.   Untuk versi cloud dan komersial, onlinenya biasanya disebut sebagai produk “databricks” contohnya https://databricks.com dan azure databricks.

 

Baiklah kita tanpa berlama-lama, kita langsung saja kepada teknis instalasi apache spark ini.

  • Buka terminal console pada macbook anda
  • Pastikan telah terkoneksi internet cepat, karena kita akan mendownload banyak requirement.
  • Jangan lupa siapkan cemilan barangkali nanti instalasinya rada lama, biar ga bosan sambil perbaikan gizi mengendutkan perut.

Perintah instalasi nya adalah sebagai berikut:

 

#instalasi java/jdk:

cek versi java pada mac os :

Java -version

seharusnya hasilnya seperti ini:

jika belum ada java versi 8, maka install

brew cask install java8

 

#instalasi xcode-tools

install xcode (download di apple appstore, jika belum)

Jika sudah install xcode, selanjutnya install command line tools

xcode-select --install

 

#Instalasi scala

Langkah selanjutnya install scala pada terminal dengan perintah

brew install scala

jika sudah berhasil install scala, cek version dengan perintah:

scala -version

 

 

instalasi apache spark

pada terminal ketikan sebagai berikut:

brew install apache-spark

jika sudah selesai instalasi apache spark, selanjutnya testing spark shell:

Spark-shell

 

testing pyspark (opsional), bila anda akan melakukan pemrogram python:

pyspark

 

cara menjalankan apache spark:

cd /usr/local/Cellar/apache-spark/2.4.5/libexec/sbin
ls
./start-all.sh

hasilnya sebagai berikut:

check running port (seharusnya running java pada port 8080 ) dengan perintah :

lsof -nP -i4TCP | grep LISTEN

Testing interface web apache spark pada browser dengan alamat

http://localhost:8080

Instalasi selesai. Bagian selanjutnya adalah configurasi, dan implementasi bigdata dan machine learning pada dengan platform apache spark akan saya bahas kemudian.

 

Referensi:

https://medium.com/beeranddiapers/installing-apache-spark-on-mac-os-ce416007d79f