Menelaah perkembangan terkini, bigdata menjadi tren dalam dunia analisis data. Karena banyak orang mulai sadar, bahwa bisnis digital sebenarnya bermula dari data. Ada banyak yang dapat kita peroleh dengan adanya data ini seperti analisis tren penjualan, menentukan produk yang laku dipasaran dalam 1 tahun kedepan, mencari celah dalam persaingan bisnis yang kian ketat dan banyak hal lain yang dapat dikaji dari data.
Sebagai seorang software developer tentunya tidak boleh ketinggalan mengikuti tren ini, ada banyak hal yang dapat dilakukan dengan bigdata. Pada kesempatan kali ini kita akan belajar bagaimana melakukan instalasi salah satu opensource bigdata platform, yaitu apache spark pada mesin development mac os kita.
Apa itu apache spark? apache spark merupakan produk opensource yang berupa stack (sekumpulan) produk untuk menjalankan environtment big data. Component apache spark terdiri dari SQL and DataFrames, MLlib untuk machine learning, GraphX, dan Spark Streaming. merupakan paket yang lumayan lengkap. Untuk versi cloud dan komersial, onlinenya biasanya disebut sebagai produk “databricks” contohnya https://databricks.com dan azure databricks.
Baiklah kita tanpa berlama-lama, kita langsung saja kepada teknis instalasi apache spark ini.
- Buka terminal console pada macbook anda
- Pastikan telah terkoneksi internet cepat, karena kita akan mendownload banyak requirement.
- Jangan lupa siapkan cemilan barangkali nanti instalasinya rada lama, biar ga bosan sambil perbaikan gizi mengendutkan perut.
Perintah instalasi nya adalah sebagai berikut:
#instalasi java/jdk:
cek versi java pada mac os :
Java -version
seharusnya hasilnya seperti ini:
jika belum ada java versi 8, maka install
brew cask install java8
#instalasi xcode-tools
install xcode (download di apple appstore, jika belum)
Jika sudah install xcode, selanjutnya install command line tools
xcode-select --install
#Instalasi scala
Langkah selanjutnya install scala pada terminal dengan perintah
brew install scala
jika sudah berhasil install scala, cek version dengan perintah:
scala -version
instalasi apache spark
pada terminal ketikan sebagai berikut:
brew install apache-spark
jika sudah selesai instalasi apache spark, selanjutnya testing spark shell:
Spark-shell
testing pyspark (opsional), bila anda akan melakukan pemrogram python:
pyspark
cara menjalankan apache spark:
cd /usr/local/Cellar/apache-spark/2.4.5/libexec/sbin
ls
./start-all.sh
hasilnya sebagai berikut:
check running port (seharusnya running java pada port 8080 ) dengan perintah :
lsof -nP -i4TCP | grep LISTEN
Testing interface web apache spark pada browser dengan alamat
http://localhost:8080
Instalasi selesai. Bagian selanjutnya adalah configurasi, dan implementasi bigdata dan machine learning pada dengan platform apache spark akan saya bahas kemudian.
Referensi:
https://medium.com/beeranddiapers/installing-apache-spark-on-mac-os-ce416007d79f