Instalasi Hadoop di Windows 10
Pembahasan
Untuk pemasangan aplikasi Hadoop, ada beberapa file yang harus diunduh dan dipasang agar Hadoop dapat berfungsi dengan baik :
1. JDK (Java Development Kit) versi 1.8 atau di atasnya.
2. Hadoop versi 2.9.2 atau di atasnya
3. Hadoop Patch File untuk sistem operasi Windows 10
Sebelum memasang Hadoop, kita harus memasang JDK (Java Development Kit) dan untuk contoh kita memilih JDK versi 8, file instalasi dapat diunduh pada website berikut: https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html. Karena kita akan memasang Hadoop untuk Windows 10, maka kita unduh JDK versi 8 untuk Windows 10 seperti yang tertera pada gambar dibawah ini.
Setelah menginstall JDK kita harus menambahkan PATH agar terbaca oleh sistem, berikut merupakan langkah-langkahnya :
1. Cari pengaturan environtment di kolom pencarian windows dengan mengetikkan env
2. Pilih tab Advanced dan klik menu Environment Variables.
3. Pada bagian System variables, kita akan menambahkan variabel JAVA_HOME dan dengan value C:\Program File \Java\jdk1.8.0_271, lalu klik OK.
4. Setelah itu kita menambahkan path baru kedalam variabel Path lalu pilih menu Edit dengan menekan tombol NEW dan isikan dengan alamat untuk java yang tertera di dalam folder hasil pemasangan JDK tadi, contohnya seperti berikut.
5. Setetah melakukan hal tersebut klik OK tiga kali sehingga window System Properties tertutup.
Setelah menginstall JDK dan menambahkan path, selanjutnya kita akan menginstall hadoop versi 2.9.2 (versi ini tergantung waktu kita mengunduh hadoop). Kita unduh terlebih dahulu file instalasi hadoop pada website berikut: https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz. Lalu klik url yang muncul pertama kali di halaman tersebut.
Setelah mengunduh file dengan ekstensi .tar.gz akan extract menggunakan aplikasi winRAR atau aplikasi sejenis. Buka aplikasi winRAR dengan akses Run as Administrator lalu pindah ke lokasi unduh file tadi lalu extract sehingga menghasilkan folder seperti berikut.
Lalu pindahkan folder tersebut ke direktori yang diinginkan, contohnya didalam C:/. Hapus semua isi dari folder bin yang ada di dalamnya. Edit file hadoop-env.cmd yang berada di direktori C:/hadoop-2.9.2/etc/hadoop (versi terbaru saat tulisan ini dibuat) dengan teks editor seperti Sublime Text atau Visual Studio Code maupun yang lainnya. Atur isi variabel JAVA_HOME seperti di pengaturan path sebelumnya.
Ubah file core-site.xml yang berada pada direktori yang sama dengan kode dibawah ini
<! — Put site-specific property overrides in this file. →
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
</configuration>
<! — Put site-specific property overrides in this file. →
<! — Put site-specific property overrides in this file. →
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/C:/hadoop-2.7.7/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/C:/hadoop-2.7.7/data/datanode</value>
</property>
Duplikasi file mapred-site.xml.template ke folder yang sama lalu ganti nama file duplikat tersebut dengan mapred-site.html lalu ubah isinya dengan kode dibawah ini
<! — Put site-specific property overrides in this file. →
<! — Put site-specific property overrides in this file. →
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
Ubah file yarn-site.xml dengan menambahkan kode berikut
<! — Site specific YARN configuration properties →
<! — Site specific YARN configuration properties →
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
Setelah kita menginstall JDK dan menginstall Hadoop program masih belum dapat dijalankan, karena secara default Hadoop tidak dijalankan untuk windows secara spesifik. Maka dari itu kita harus memasang patch hadoop untuk windows yang dapat diunduh pada repository github milik wmwijaya: https://github.com/wmwijaya/hadoop2-standalone-windows7-windows10.
Setelah kita menginstall JDK dan menginstall Hadoop program masih belum dapat dijalankan, karena secara default Hadoop tidak dijalankan untuk windows secara spesifik. Maka dari itu kita harus memasang patch hadoop untuk windows yang dapat diunduh pada repository github milik wmwijaya: https://github.com/wmwijaya/hadoop2-standalone-windows7-windows10.
Gambar 9 Mengunduh file patch untuk Windows 10
Extract file patch yang sudah diunduh dan copy folder bin dan simpan pada direktori hadoop, C:/hadoop-2.9.2. tambahkan variabel baru di System variables dengan nama HADOOP_HOME dan value-nya C:\hadoop-2.9.2. Selanjutnya tambahkan Path untuk hadoop dengan isi C:\hadoop-2.9.2\bin dan C:\hadoop-2.9.2\sbin.
Copy file bernama hadoop-yarn-server-timelineservice-2.9.2.jar yang ada di C:\hadoop-2.9.2\share\hadoop\yarn\timelineservice ke C:\hadoop-2.9.2\share\hadoop\yarn.
Jalankan terminal/cmd sebagai administrator lalu ketikkan hdfs namenode –format. Untuk mengetahui layanan hadoop yang sedang berjalan, ketik jps maka akan muncul semua layanan/service yang sedang berjalan.
Gambar 10 Service Hadoop sebelum dijalankan
Untuk menjalankan semua service hadoop, pindah ke folder sbin yang ada di dalam folder utama hadoop lalu klik dua kali pada file start-dfs.cmd dan start-yarn.cmd untuk menjalankan service Namenode, Datanode, Resource Manager, dan Nodemanager. Sekarang kita coba cek apakah service sudah berjalan dengan command jps.
Gambar 11 Service Hadoop setelah dijalankan
Lalu kita coba buka localhost:8088 di web browser untuk melihat Resource Manager berjalan dengan baik.
Gambar 12 Halaman utama Hadoop
