Google Cloud untuk Data Science: Panduan Pemula

Meskipun AWS EC2 adalah pemimpin dalam komputasi awan, Google Cloud telah mengembangkan platform Komputasi Awan yang sangat menarik dan kompetitif.

Dalam tutorial ini, Anda akan belajar cara:

• Membuat instance di Google Compute Engine (GCE),
• Menginstal lingkungan data science berbasis distribusi Anaconda Python, dan
• Menjalankan Jupyter Notebook yang dapat diakses secara online.

Bekerja di cloud alih-alih di mesin Anda sendiri memiliki dua keuntungan utama untuk proyek data science:

1. Skalabilitas: Anda dapat menyesuaikan daya (RAM, CPU, GPU) instance sesuai kebutuhan saat itu juga. Mulai dari instance kecil dan murah lalu menambah memori, penyimpanan, CPU, atau GPU seiring perkembangan proyek.
2. Reproduksibilitas: syarat kunci dari setiap proyek data science. Memungkinkan data scientist lain meninjau model Anda dan mereplikasi riset Anda adalah prasyarat untuk implementasi yang berhasil. Dengan menyiapkan lingkungan kerja pada instance virtual, Anda memastikan pekerjaan Anda mudah dibagikan, direproduksi, dan ditinjau oleh anggota tim lain.

Google Compute Engine

Walaupun dibangun di atas konsep dan elemen yang sama (instance, image, dan snapshot), EC2 dan GCE berbeda dalam hal akses serta organisasi sumber daya.

Aspek kunci dari Google Cloud Platform (GCP) adalah organisasinya yang berpusat pada proyek. Semua penagihan, izin, sumber daya, dan pengaturan dikelompokkan dalam proyek yang ditentukan pengguna yang pada dasarnya bertindak sebagai namespace global. Ini tidak hanya menyederhanakan pemetaan saling terkait dari sumber daya yang Anda gunakan (penyimpanan, basis data, instance, ...) tetapi juga manajemen akses dari izin berbasis peran hingga kunci ssh dan keamanan. Dalam hal kemudahan penggunaan serta manajemen akses dan peran, menurut saya bekerja di GCP lebih mudah daripada di AWS, terutama saat menggunakan banyak layanan.

GCP juga menawarkan layanan tertentu yang sangat relevan untuk data science, termasuk namun tidak terbatas pada:

• Dataprep untuk membangun pipeline pemrosesan data,
• Datalab untuk eksplorasi data,
• Google Machine Learning Engine yang dibangun di atas TensorFlow
• BigQuery solusi gudang data yang menyimpan banyak dataset Big Data menarik.

Kurva belajar yang rendah dan layanan ramah data menjadikan GCP perangkat wajib dalam kotak alat data scientist Anda.

Sebelum Anda mulai meluncurkan instance dan menginstal paket Python, mari luangkan waktu sejenak untuk meninjau beberapa kosakata umum yang digunakan dalam Komputasi Awan.

VM, Disk, Image, dan Snapshot

Mesin Virtual (VM) yang juga disebut "instance" adalah server on-demand yang Anda aktifkan sesuai kebutuhan. Perangkat keras yang mendasarinya dibagi pakai dengan pengguna lain secara transparan dan dengan demikian menjadi sepenuhnya virtual bagi Anda. Anda hanya memilih lokasi geografis global instance yang dihosting di salah satu pusat data Google.

Sebuah VM ditentukan oleh jenis disk persisten dan sistem operasi (OS), seperti Windows atau Linux, yang digunakan. Disk persisten adalah bagian perangkat keras virtual Anda.

Sebuah image adalah kombinasi fisik dari disk persisten dan sistem operasi. VM Image sering digunakan untuk membagikan dan menerapkan konfigurasi tertentu pada beberapa VM lainnya. Image publik adalah yang disediakan Google dengan pilihan OS tertentu, sedangkan image privat disesuaikan oleh pengguna.

Snapshot adalah cerminan konten sebuah VM (disk, perangkat lunak, pustaka, file) pada waktu tertentu dan umumnya digunakan untuk cadangan instan. Perbedaan utama antara snapshot dan image adalah snapshot disimpan sebagai diff relatif terhadap snapshot sebelumnya, sedangkan image tidak.

Baik image maupun snapshot dapat digunakan untuk mendefinisikan dan mengaktifkan VM baru.

Ringkasnya, ketika Anda meluncurkan instance baru, GCE mulai dengan memasang disk persisten ke VM Anda. Ini menyediakan ruang disk dan memberikan instance filesystem root yang dibutuhkan untuk boot. Disk memasang OS yang terkait dengan image yang Anda pilih. Dengan mengambil snapshot dari sebuah image, Anda membuat cadangan instan dan dapat menyalin data dari VM yang ada untuk meluncurkan VM baru.

Mari kita praktikkan semuanya dan mulai dengan VM pertama Anda!

Mulai dengan VM Pertama Anda di GCP

Buat Akun dan Proyek

Untuk membuka akun di GCP, Anda memerlukan akun Google (Gmail) standar. Saat artikel ini ditulis, Google menawarkan uji coba gratis platform selama 12 bulan / $300. Meskipun penawaran ini memiliki beberapa pembatasan (misalnya tidak boleh menambang bitcoin), ini seharusnya cukup untuk mulai bekerja di lingkungan ini.

Untuk membuat akun GCP dengan uji coba gratis, buka cloud.google.com dan klik tombol try it free. Anda akan diminta masuk dengan akun Google dan menambahkan informasi penagihan. Setelah akun dibuat, Anda dapat mengakses konsol web di http://console.cloud.google.com/.

Anda akan terlebih dahulu menggunakan konsol web untuk mendefinisikan dan meluncurkan instance berbasis Debian lalu beralih ke terminal shell berbasis web untuk memasang semua paket yang diperlukan untuk stack data science Anda.

Tetapi pertama-tama Anda perlu membuat proyek baru:

• Buka halaman Resource Management,
• Klik "Create a new project",
• Tentukan judul proyek Anda dan perhatikan bagaimana Google membuat ID proyek secara langsung.
• Edit ID proyek sesuai kebutuhan dan klik "Create".

ID proyek harus unik di seluruh ruang nama GCP, sementara judul proyek bisa apa saja. Saya menamai proyek saya datacamp-gcp seperti terlihat di bawah ini:

Secara default, saat Anda membuat proyek baru, akun Google Anda diatur sebagai pemilik proyek dengan izin penuh dan akses ke seluruh sumber daya dan penagihan proyek.

Pada bagian roles di halaman IAM, Anda dapat menambahkan orang dengan peran tertentu ke proyek Anda. Untuk tujuan tutorial ini, Anda akan melewati bagian tersebut dan menjadikan diri Anda satu-satunya pengguna dan admin proyek.

Buat Instance

Untuk membuat VM pertama Anda, ikuti langkah-langkah berikut:

1. Buka dasbor Anda di https://console.cloud.google.com/home/dashboard dan pilih proyek yang baru saja Anda buat.
2. Pada menu kiri atas pilih "Compute Engine" dan klik "VM instances".
3. Di dialog, klik tombol "Create".

Sekarang Anda berada di halaman "Create an Instance".

1. Namai instance: Anda bisa memilih nama apa pun. Saya menamai instance saya starling.

2. Pilih region: patokannya adalah memilih region termurah yang paling dekat dengan Anda untuk meminimalkan latensi. Saya memilih east-d. Perhatikan bahwa harga sangat bervariasi menurut region.

3. Pilih memori, penyimpanan, dan CPU yang Anda butuhkan. Anda dapat menggunakan beberapa preset atau menyesuaikan instance sendiri. Di sini, saya memilih setelan default n1-standard-1 dengan RAM 3,75 Gb dan 1vCPU dengan perkiraan harga $24,67 per bulan.

4. Pilih boot disk dan gunakan default Debian GNU/Linux 9 (stretch) OS dengan 10 Gb. Jika Anda lebih suka menggunakan Ubuntu atau distribusi Linux lainnya, klik tombol "Change" dan lakukan pilihan yang sesuai. Karena Ubuntu merupakan turunan dekat dari Debian, kedua distribusi akan berfungsi untuk tutorial ini.

5.Pastikan Anda dapat mengakses VM dari internet dengan mengizinkan lalu lintas http dan https.

6.(Opsional) Aktifkan disk persisten untuk tujuan cadangan: Klik tautan "Management, Disks, networking, SSH keys". Ini menampilkan sekumpulan tab, pilih tab "Disks" dan hapus centang pada "Deletion Rule". Dengan cara ini, saat Anda menghapus instance, disk tidak akan dihapus dan dapat digunakan nanti untuk menyalakan instance baru.

7.Terakhir, klik "Create". Instance Anda akan siap dalam beberapa menit.

Perhatikan tautan "Equivalent command line" di bawah tombol Create. Tautan ini menampilkan perintah baris perintah yang setara untuk membuat instance yang sama dari awal. Ini adalah fitur yang sangat cerdas yang memudahkan mempelajari sintaks gcloud SDK.

Pada titik ini, Anda memiliki instance yang berjalan yang masih cukup kosong. Ada 2 cara untuk mengakses instance. Bisa dengan memasang gcloud SDK di mesin lokal Anda atau menggunakan Google Cloud Shell.

Google Cloud Shell

Google Cloud Shell adalah terminal mandiri di browser Anda dari mana Anda dapat mengakses dan mengelola sumber daya. Anda mengaktifkan cloud shell dengan mengeklik ikon >\_ di bagian kanan atas halaman konsol. Bagian bawah browser Anda menjadi terminal shell.

Terminal ini berjalan pada mesin virtual Google Compute Engine f1-micro dengan sistem operasi Debian dan penyimpanan 5Gb. Dibuat per pengguna, per sesi. Tetap aktif selama sesi cloud shell Anda aktif dan dihapus setelah 20 menit tidak aktif. Karena disk terkait persisten lintas sesi, konten Anda (file, konfigurasi, ...) akan tersedia dari sesi ke sesi. Instance cloud shell sudah terpasang gcloud SDK dan vim.

Penting untuk membedakan antara instance Cloud Shell, yang berbasis pengguna, dan instance yang baru saja Anda buat. Instance yang mendasari cloud shell hanyalah cara yang nyaman untuk memiliki lingkungan manajemen sumber daya dan menyimpan konfigurasi Anda pada instance yang bersifat sementara. Instance VM yang baru saja Anda buat, bernama starling pada contoh di atas, adalah instance tempat Anda ingin memasang lingkungan data science.

Alih-alih menggunakan Google Cloud Shell, Anda juga dapat memasang gcloud SDK di mesin lokal dan mengelola semuanya dari lingkungan lokal Anda.

Berikut beberapa perintah berguna untuk mengelola instance Anda.

• Daftar instance Anda

  gcloud compute instances list

• Hentikan instance (butuh beberapa detik)

  gcloud compute instances stop <instance name>

• Mulai instance (juga butuh beberapa detik)

  gcloud compute instances start <instance name>

• dan ssh ke instance starling

  gcloud compute ssh <instance name>

Menyiapkan VM

Jalankan perintah terakhir itu di jendela Google Shell Anda untuk masuk ke instance. Langkah-langkah berikutnya akan terdiri dari:

1. Memasang beberapa paket Debian dengan apt-get install.
2. Memasang distribusi Anaconda atau Miniconda.
3. Menyiapkan instance agar Jupyter Notebook dapat diakses secara aman secara online.

Paket Debian

Mari mulai dengan memasang paket Debian:

• bzip2, yang diperlukan untuk memasang Mini/Anaconda,
• git, yang selalu berguna untuk dimiliki, dan
• libxml2-dev, yang belum diperlukan saat ini tetapi sering Anda butuhkan saat memasang pustaka Python lebih lanjut.

Jalankan perintah berikut, yang berfungsi untuk Ubuntu dan Debian, di terminal:

$ sudo apt-get update
$ sudo apt-get install bzip2 git libxml2-dev

Anaconda / Miniconda

Setelah paket di atas terpasang, lanjutkan memasang distribusi Anaconda untuk Python 3. Anda dapat memilih antara memasang versi Anaconda lengkap yang menyertakan banyak pustaka Python ilmiah—sebagian mungkin tidak Anda butuhkan—atau memasang versi Miniconda yang lebih ringan yang mengharuskan Anda menginstal pustaka Jupyter secara manual. Prosesnya sangat mirip dalam kedua kasus.

Untuk memasang distribusi Miniconda yang lebih ringan, jalankan

$ wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
$ bash Miniconda3-latest-Linux-x86_64.sh
$ rm Miniconda3-latest-Linux-x86_64.sh
$ source .bashrc
$ conda install scikit-learn pandas jupyter ipython

Script instalasi diunduh dan dijalankan dengan 2 baris pertama. Anda sebaiknya menerima lisensi dan lokasi default. Pada baris 3, file shell yang tidak lagi diperlukan dihapus. Men-source .bashrc pada baris 4 menambahkan perintah conda ke $PATH Anda tanpa harus membuka terminal baru. Dan akhirnya, baris terakhir memasang pustaka Python yang diperlukan: scikit-learn pandas jupyter ipython.

Perintah untuk memasang distribusi Anaconda lengkap sangat mirip. Pastikan memeriksa halaman unduhan untuk mendapatkan versi terbaru file script:

$ wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh
$ bash Anaconda3-5.0.1-Linux-x86_64.sh
$ rm Anaconda3-5.0.1-Linux-x86_64.sh
$ source .bahsrc

Untuk memverifikasi bahwa semuanya terpasang dengan benar, periksa versi python Anda dengan python --version dan verifikasi bahwa python yang tepat dipanggil secara default dengan perintah which python. Anda seharusnya mendapatkan sesuatu seperti

Sekarang Anda memiliki lingkungan Python yang berfungsi dengan pustaka data science standar terpasang (sklearn, pandas).

Mengizinkan Akses Web

Langkah ketiga dan terakhir adalah mengonfigurasi VM agar mengizinkan akses web ke Jupyter Notebook Anda.

Anda perlu terlebih dahulu membuat VM dapat diakses dari web. Untuk itu, Anda akan membuat aturan firewall melalui konsol Google Cloud. Kembali ke dasbor Instances dan pada menu kiri atas, pilih "VPC Network > Firewall rules". Klik tautan "CREATE FIREWAL RULE" dan isi nilai berikut:

• Name: jupyter-rule (Anda dapat memilih nama apa pun)
• Source IP ranges: 0.0.0.0/0
• Specified protocols and ports: tcp:8888
• dan biarkan semua variabel lainnya pada nilai default.

Formulirnya akan terlihat seperti:

Aturan firewall ini mengizinkan semua lalu lintas masuk (dari semua IP) menuju port 8888.

Menggunakan "Equivalent command line link", Anda dapat melihat bahwa aturan firewall juga dapat dibuat dari terminal dengan baris perintah berikut:

$ gcloud compute --project=datacamp-gcp firewall-rules create jupyter-rule --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:8888 --source-ranges=0.0.0.0/0

Sekarang kembali ke halaman VM (menu kiri atas > Compute Engine > VM instances), klik nama VM Anda.

Catat alamat IP VM Anda. Ini adalah alamat IP yang akan Anda gunakan di browser untuk mengakses lingkungan Jupyter Anda. Pada contoh saya, alamat IP-nya: 35.196.81.49, milik Anda akan berbeda.

dan pastikan aturan Firewall dicentang:

Konfigurasi Jupyter

Jupyter Notebook memiliki file konfigurasi yang perlu dibuat dan diedit untuk menyiapkan akses online ke notebook Anda. Di terminal, jalankan jupyter notebook --generate-config untuk menghasilkan file konfigurasi. Dan jupyter notebook password untuk membuat kata sandi.

Tip: pastikan ini kata sandi yang kuat!

Sekarang edit file konfigurasi yang baru Anda buat dengan vim .jupyter/jupyter_notebook_config.py dan tambahkan baris berikut di bagian atas file

c.NotebookApp.ip = '*'

(untuk beralih ke mode edit di vim, ketik karakter i). Keluar dan simpan dengan urutan ESC:wq.

Ini akan membuat notebook tersedia untuk semua alamat IP pada VM Anda dan bukan hanya URL http://localhost:8888 yang mungkin Anda kenal saat bekerja di mesin lokal.

Luncurkan

Anda sekarang siap meluncurkan Jupyter Notebook dengan perintah:

$ jupyter-notebook --no-browser --port=8888

Dan Anda akan melihat sesuatu seperti ini di terminal:

Di browser Anda buka URL: http://<your_VM_IP>:8888/ untuk mengakses Jupyter Notebook Anda yang baru beroperasi.

Untuk memeriksa bahwa semuanya berfungsi seperti yang diharapkan, buat notebook Python 3 baru, dan import pandas

Intermezzo

Beberapa catatan tentang setelan Anda saat ini:

• Alamat IP yang Anda gunakan di browser bersifat sementara. Artinya setiap kali Anda memulai ulang VM, URL notebook Anda akan berbeda. Anda dapat menjadikan IP tersebut statis dengan pergi ke: Menu kiri atas > VPC Network > External IP addresses dan pilih "static" pada menu tarik-turun

• Keamanan setelan Anda saat ini bergantung pada kekuatan kata sandi Jupyter Notebook yang Anda tentukan sebelumnya. Siapa pun di internet dapat mengakses lingkungan Jupyter Anda di URL yang sama yang Anda gunakan (dan bot pasti akan mencoba). Salah satu fitur inti Jupyter Notebook yang sangat kuat namun tidak aman adalah Anda dapat meluncurkan terminal dengan akses sudo langsung dari notebook. Ini berarti siapa pun yang mengakses notebook dapat mengambil alih VM Anda setelah membobol kata sandi notebook dan berpotensi menjalankan apa pun yang dapat membuat tagihan Anda melonjak. Langkah tingkat pertama untuk mencegah hal itu termasuk

• Memastikan kata sandi Jupyter Anda kuat

• Ingat untuk menghentikan VM saat Anda tidak menggunakannya

Saat ini Anda juga menjalankan server melalui http dan bukan https yang tidak cukup aman. Let’s Encrypt menyediakan sertifikat SSL/TLS gratis dan merupakan solusi enkripsi yang direkomendasikan dalam dokumentasi jupyter. Untuk informasi lebih lanjut tentang isu keamanan terkait menjalankan Jupyter Notebook publik, baca ini.

IPython

Jupyter Notebook sangat nyaman untuk kerja kolaboratif online. Namun Anda juga bisa menjalankan sesi IPython dari terminal cukup dengan perintah ipython. Itu akan membuka sesi IPython yang memiliki semua keunggulan Jupyter Notebook seperti magic commands (%paste, %run, ...) tetapi tanpa antarmuka web.

R

Mudah untuk menyiapkan VM Anda agar mengaktifkan notebook R di konsol Jupyter Anda. Instruksi untuk mengaktifkan R Markdown tersedia di tutorial DataCamp yang bagus ini: Jupyter And R Markdown: Notebooks With R oleh Karlijn Willems.

Kesimpulan

Google Cloud menawarkan banyak layanan menarik untuk data science dan instance VM yang kuat namun mudah disiapkan, ditambah penawaran uji coba gratis yang sangat menarik. Konsol web mudah dinavigasi dan sering menampilkan padanan baris perintah untuk halaman konfigurasi saat ini, sehingga menurunkan hambatan penggunaan gcloud SDK.

Dalam artikel ini, Anda telah mempelajari cara memilih dan meluncurkan instance VM, memasang paket Debian yang diperlukan, distribusi Anaconda dan stack data science, serta akhirnya cara menyiapkan aturan akses untuk meluncurkan Jupyter Notebook yang dapat diakses dari browser Anda.

Meskipun seluruh proses mungkin tampak agak rumit pada awalnya, ini akan cepat terasa familier saat Anda membuat dan meluncurkan semakin banyak VM. Dan jika semuanya terasa terlalu ruwet, Anda selalu dapat menghapus VM yang sedang Anda kerjakan dan memulai ulang dari awal. Itulah salah satu kelebihan bekerja di cloud. Setelah beberapa kali, Anda akan dapat menyalakan lingkungan data science lengkap di Google Cloud dalam beberapa menit. Jangan sungkan untuk menghubungi dan berbagi komentar serta pertanyaan dengan saya di twitter: @alexip.