Menu
Imam Ferianto Blogs
  • Home
  • About
Imam Ferianto Blogs

Instalasi BigData Apache Spark – Development Environment pada mac os

Posted on June 6, 2020June 6, 2020 by feri

Menelaah perkembangan terkini, bigdata menjadi tren dalam dunia analisis data. Karena banyak orang mulai sadar, bahwa bisnis digital sebenarnya bermula dari data. Ada banyak yang dapat kita peroleh dengan adanya data ini seperti analisis tren penjualan, menentukan produk yang laku dipasaran dalam 1 tahun kedepan, mencari celah dalam persaingan bisnis yang kian ketat dan banyak hal lain yang dapat dikaji dari data.

Sebagai seorang software developer tentunya tidak boleh ketinggalan mengikuti tren ini, ada banyak hal yang dapat dilakukan dengan bigdata. Pada kesempatan kali ini kita akan belajar bagaimana melakukan instalasi salah satu opensource bigdata platform, yaitu apache spark pada mesin development mac os kita.

apache spark stack element

Apa itu apache spark? apache spark merupakan produk opensource yang berupa stack (sekumpulan) produk untuk menjalankan environtment big data. Component apache spark terdiri dari  SQL and DataFrames, MLlib untuk machine learning, GraphX, dan Spark Streaming. merupakan paket yang lumayan lengkap.   Untuk versi cloud dan komersial, onlinenya biasanya disebut sebagai produk “databricks” contohnya https://databricks.com dan azure databricks.

 

Baiklah kita tanpa berlama-lama, kita langsung saja kepada teknis instalasi apache spark ini.

  • Buka terminal console pada macbook anda
  • Pastikan telah terkoneksi internet cepat, karena kita akan mendownload banyak requirement.
  • Jangan lupa siapkan cemilan barangkali nanti instalasinya rada lama, biar ga bosan sambil perbaikan gizi mengendutkan perut.

Perintah instalasi nya adalah sebagai berikut:

 

#instalasi java/jdk:

cek versi java pada mac os :

Java -version

seharusnya hasilnya seperti ini:

jika belum ada java versi 8, maka install

brew cask install java8

 

#instalasi xcode-tools

install xcode (download di apple appstore, jika belum)

Jika sudah install xcode, selanjutnya install command line tools

xcode-select --install

 

#Instalasi scala

Langkah selanjutnya install scala pada terminal dengan perintah

brew install scala

jika sudah berhasil install scala, cek version dengan perintah:

scala -version

 

 

instalasi apache spark

pada terminal ketikan sebagai berikut:

brew install apache-spark

jika sudah selesai instalasi apache spark, selanjutnya testing spark shell:

Spark-shell

 

testing pyspark (opsional), bila anda akan melakukan pemrogram python:

pyspark

 

cara menjalankan apache spark:

cd /usr/local/Cellar/apache-spark/2.4.5/libexec/sbin
ls
./start-all.sh

hasilnya sebagai berikut:

check running port (seharusnya running java pada port 8080 ) dengan perintah :

lsof -nP -i4TCP | grep LISTEN

Testing interface web apache spark pada browser dengan alamat

http://localhost:8080

Instalasi selesai. Bagian selanjutnya adalah configurasi, dan implementasi bigdata dan machine learning pada dengan platform apache spark akan saya bahas kemudian.

 

Referensi:

https://medium.com/beeranddiapers/installing-apache-spark-on-mac-os-ce416007d79f

 

 

Social Media Links

  • Linkedin Profile
  • Facebook Profile
  • Instagram Profile
  • GitHub Pages
  • Google Play Portofolio
  • Postgresql Training Service
  • PHP Security Training Service
  • Active State Writing

Recent Posts

  • Ngoding Data Analytics di Handphone Part 2
  • Ngoding Data Analytics di Iphone Part 1
  • Cara Mudah Membuat Report Dengan Fastreport pada dotnet core project
  • Cara Alternatif mengakses Webservice Soap pada dotnet core tanpa menggunakan soap client
  • Tutorial Yii2 Singkat padat dan jelas untuk programmer pemula. Bagian 1 – Membuat Aplikasi Penjualan Menggunakan yii2

Archives

  • September 2022
  • May 2021
  • April 2021
  • March 2021
  • January 2021
  • September 2020
  • July 2020
  • June 2020
  • May 2020
  • March 2020
  • February 2020
  • December 2019

Categories

  • #dotnetcore
  • arduino
  • c#
  • data-analytics
  • docker
  • oracle
  • php
  • programming
  • python
  • selingan
  • Uncategorized
©2023 Imam Ferianto Blogs | Powered by WordPress & Superb Themes