Veri Bilimi için Google Cloud: Yeni Başlayanlar Rehberi

AWS EC2 bulut bilişimde lider olsa da, Google Cloud son derece etkileyici ve rekabetçi bir Bulut Bilişim platformu geliştirdi.

Bu eğitimde şunları öğreneceksiniz:

• Google Compute Engine (GCE) üzerinde bir örnek (instance) oluşturmak,
• Anaconda Python dağıtımı tabanlı bir veri bilimi ortamı kurmak ve
• Çevrimiçi erişilebilir Jupyter notebook’ları çalıştırmak.

Kendi makineniz yerine bulutta çalışmanın veri bilimi projeleri için iki temel avantajı vardır:

1. Ölçeklenebilirlik: Örneğinizin gücünü (RAM, CPU, GPU) anlık ihtiyaçlarınıza göre ayarlayabilirsiniz. Küçük ve ucuz bir örnekle başlayıp projeniz geliştikçe bellek, depolama, CPU veya GPU ekleyebilirsiniz.
2. Tekrarlanabilirlik: Her veri bilimi projesinin temel koşulu. Diğer veri bilimcilerin modellerinizi gözden geçirmesine ve araştırmanızı yeniden üretmesine izin vermek, başarılı bir uygulamanın şartıdır. Çalışan bir ortamı sanal bir örnek üzerinde kurarak, işinizin kolayca paylaşılmasını, yeniden üretilmesini ve ekip üyeleri tarafından doğrulanmasını sağlarsınız.

Google Compute Engine

Aynı kavramlar ve bileşenler (örnekler, imajlar ve anlık görüntüler) etrafında inşa edilmiş olsa da, EC2 ve GCE erişim ve kaynak organizasyonu açısından farklılık gösterir.

Google Cloud Platform’un (GCP) temel özelliklerinden biri proje merkezli organizasyonudur. Tüm faturalandırma, izinler, kaynaklar ve ayarlar, temelde küresel bir ad alanı gibi davranan, kullanıcı tarafından tanımlanan bir projenin içinde toplanır. Bu, kullandığınız kaynakların (depolama, veritabanları, örnekler, ...) birbirine bağlı haritalamasını ve aynı zamanda role dayalı izinlerden gerçek ssh anahtarlarına ve güvenliğe kadar erişim yönetimini basitleştirir. Kullanım kolaylığı ile erişim ve rol yönetimi söz konusu olduğunda, özellikle birden çok hizmet kullanırken GCP üzerinde çalışmayı AWS’ye kıyasla daha kolay buluyorum.

GCP ayrıca veri bilimi için özellikle ilgili olan, ancak bunlarla sınırlı olmayan bazı hizmetler de sunar:

• Veri işleme hatları oluşturmak için Dataprep,
• Veri keşfi için Datalab,
• TensorFlow üzerinde inşa edilmiş Google Machine Learning Engine
• Birçok büyüleyici Büyük Veri veri kümesini barındıran veri ambarı çözümü BigQuery.

Düşük öğrenme eğrisi ve veri dostu hizmetler, GCP’yi veri bilimci araç kutunuzda mutlaka bulunması gereken bir araç haline getirir.

Örnekleri başlatmaya ve Python paketleri kurmaya başlamadan önce, Bulut Bilişimde kullanılan bazı ortak terimleri hızlıca gözden geçirelim.

VM’ler, Diskler, İmajlar ve Anlık Görüntüler

Sanal Makine (VM), “örnek” olarak da adlandırılır, ihtiyaç duyduğunuzda etkinleştirdiğiniz isteğe bağlı bir sunucudur. Altta yatan donanım diğer kullanıcılarla şeffaf bir şekilde paylaşılır ve bu nedenle sizin için tamamen sanallaşır. Sadece örneğin barındırıldığı Google veri merkezlerinden birinde genel coğrafi konumu seçersiniz.

Bir VM, kalıcı disk türü ve üzerine kurulduğu işletim sistemi (OS) ile tanımlanır; örneğin Windows veya Linux. Kalıcı disk, donanımın sanal payınız olur.

Bir imaj, kalıcı disk ile işletim sisteminin fiziksel kombinasyonudur. VM imajları, belirli bir yapılandırmayı birden çok diğer VM üzerinde paylaşmak ve uygulamak için sıklıkla kullanılır. Genel imajlar, Google tarafından sağlanan ve belirli işletim sistemi seçenekleri sunan imajlardır; özel imajlar ise kullanıcılar tarafından özelleştirilir.

Anlık görüntü (snapshot), belirli bir zamanda bir VM’in içeriğinin (disk, yazılım, kütüphaneler, dosyalar) yansımasıdır ve çoğunlukla anlık yedeklemeler için kullanılır. Anlık görüntüler ile imajlar arasındaki temel fark; anlık görüntülerin bir önceki anlık görüntülere göre farklar (diff) olarak saklanması, imajların ise saklanmamasıdır.

Hem bir imaj hem de bir anlık görüntü yeni bir VM’i tanımlamak ve etkinleştirmek için kullanılabilir.

Özetle, yeni bir örnek başlattığınızda, GCE önce VM’inize bir kalıcı disk bağlar. Bu, disk alanını sağlar ve örneğe önyükleme yapmak için gereken kök dosya sistemini verir. Disk, seçtiğiniz imajla ilişkili işletim sistemini kurar. Bir imajın anlık görüntülerini alarak anında yedeklemeler oluşturur ve mevcut VM’lerden veri kopyalayıp yeni VM’ler başlatabilirsiniz.

Haydi şimdi bunları pratiğe dökelim ve ilk VM’inizle başlayalım!

GCP’de İlk VM’inizle Başlarken

Hesap ve Proje Oluşturun

GCP’de bir hesap açmak için standart bir Google (Gmail) hesabına ihtiyacınız var. Bu yazının yazıldığı tarihte, Google platform için 12 ay / 300 $ ücretsiz deneme sunuyor. Bu teklif bazı kısıtlamalar içeriyor olsa da (örneğin bitcoin madenciliği yasak), bu ortamda çalışmaya başlamanız için yeterli olacaktır.

Ücretsiz deneme ile GCP hesabınızı oluşturmak için cloud.google.com adresine gidin ve try it free düğmesine tıklayın. Google hesabınızla oturum açmanız ve fatura bilgilerinizi girmeniz istenecektir. Hesabınız oluşturulduktan sonra, web konsoluna http://console.cloud.google.com/ adresinden erişebilirsiniz.

Önce web konsolunu kullanarak Debian tabanlı bir örnek tanımlayıp başlatacak, ardından veri bilimi yığınınız için gereken tüm paketleri kurmak üzere web tabanlı kabuk terminaline geçeceksiniz.

Ancak önce yeni bir proje oluşturmanız gerekiyor:

• Kaynak Yönetimi sayfasına gidin,
• “Yeni proje oluştur”a tıklayın,
• Projenizin başlığını belirtin ve Google’ın anında bir proje kimliği ürettiğini fark edin.
• Gerekirse proje kimliğini düzenleyin ve “Oluştur”a tıklayın.

Proje kimliği GCP ad alanı genelinde benzersiz olmalıdır, proje başlığı ise istediğiniz herhangi bir şey olabilir. Ben projemi aşağıda gösterildiği gibi datacamp-gcp olarak adlandırıyorum:

Varsayılan olarak, yeni bir proje oluşturduğunuzda Google hesabınız, projenin sahibi olarak ayarlanır ve projenin tüm kaynakları ve faturalandırması üzerinde tam izin ve erişime sahip olur.

IAM sayfasının roller bölümünde, projenize belirli rollerle kişiler ekleyebilirsiniz. Bu eğitim kapsamında, bu bölümü atlayacak ve projede tek kullanıcı ve yönetici olarak kendinizi bırakacaksınız.

Örnek (Instance) Oluşturun

İlk VM’inizi oluşturmak için şu adımları izleyin:

1. https://console.cloud.google.com/home/dashboard adresindeki kontrol panelinize gidin ve az önce oluşturduğunuz projeyi seçin.
2. Sol üstteki menüden “Compute Engine”i seçin ve “VM instances”a tıklayın.
3. Açılan pencerede “Create” düğmesine tıklayın.

Artık “Create an Instance” sayfasındasınız.

1. Örneğe isim verin: Dilediğiniz adı seçebilirsiniz. Ben örneğimi starling olarak adlandırıyorum.

2. Bölgeyi seçin: Genel kural, size en yakın ve en ucuz bölgeyi seçmektir; böylece gecikmeyi minimize edersiniz. Ben east-d seçiyorum. Fiyatların bölgeye göre önemli ölçüde değiştiğini unutmayın.

3. İhtiyacınız olan bellek, depolama ve CPU’yu seçin. Birkaç hazır ayardan birini kullanabilir veya kendi örneğinizi özelleştirebilirsiniz. Burada, 3,75 GB RAM ve 1 vCPU ile varsayılan n1-standard-1 yapılandırmasını, aylık tahmini 24,67 $ maliyetle seçiyorum.

4. Önyükleme diskini seçin ve 10 GB’lık varsayılan Debian GNU/Linux 9 (stretch) işletim sistemiyle devam edin. Ubuntu veya başka bir Linux dağıtımı tercih ediyorsanız, “Change” düğmesine tıklayın ve uygun seçimi yapın. Ubuntu, Debian’ın yakın bir türevi olduğundan, bu eğitim için her iki dağıtım da çalışacaktır.

5. İnternetten VM’e erişebildiğinizden emin olmak için http ve https trafiğine izin verin.

6. (İsteğe bağlı) Yedekleme amaçlı kalıcı bir disk etkinleştirin: “Management, Disks, networking, SSH keys” bağlantısına tıklayın. Bir dizi sekme açılacaktır; “Disks” sekmesini seçin ve “Deletion Rule” seçimini kaldırın. Böylece örneği sildiğinizde disk silinmez ve daha sonra yeni bir örnek çalıştırmak için kullanılabilir.

7. Son olarak “Create”e tıklayın. Örneğiniz birkaç dakika içinde hazır olacaktır.

Create düğmesinin altındaki “Equivalent command line” bağlantısına dikkat edin. Bu bağlantı, aynı örneği sıfırdan oluşturmak için gereken eşdeğer komut satırını gösterir. Bu, gcloud SDK sözdizimini öğrenmeyi kolaylaştıran gerçekten akıllı bir özelliktir.

Bu noktada, büyük ölçüde boş bir çalışır örneğiniz var. Örneğe erişmenin iki yolu vardır: Ya gcloud SDK’yı yerel makinenize kurarsınız ya da Google’ın Cloud Shell’ini kullanırsınız.

Google’ın Cloud Shell’i

Google’ın Cloud Shell’i, kaynaklarınıza erişip bunları yönetebileceğiniz tarayıcınızdaki bağımsız bir terminaldir. Konsol sayfasının sağ üst kısmındaki >\_ simgesine tıklayarak Google shell’i etkinleştirirsiniz. Tarayıcınızın alt kısmı bir kabuk terminaline dönüşür.

Bu terminal, Debian işletim sistemi ve 5 GB depolama ile bir f1-micro Google Compute Engine sanal makinesinde çalışır. Kullanıcı başına, oturum başına oluşturulur. Cloud shell oturumunuz aktif olduğu sürece kalır ve 20 dakikalık hareketsizlikten sonra silinir. İlişkili disk oturumlar arasında kalıcı olduğundan, içeriğiniz (dosyalar, yapılandırmalar, ...) oturumdan oturuma kullanılabilir olacaktır. Cloud shell örneği, gcloud SDK ve vim ile önceden kurulu gelir.

Kullanıcı tabanlı Cloud shell örneği ile az önce oluşturduğunuz örnek arasında ayrım yapmak önemlidir. Cloud shell’in altında yatan örnek, yalnızca bir kaynak yönetimi ortamına sahip olmanın ve yapılandırmalarınızı geçici bir örnekte saklamanın kullanışlı bir yoludur. Yukarıdaki örnekte starling olarak adlandırdığınız VM örneği ise veri bilimi ortamınızı kurmak istediğiniz örnektir.

Google Cloud shell’i kullanmak yerine, gcloud SDK’yı yerel makinenize kurabilir ve her şeyi yerel ortamınızdan yönetebilirsiniz.

Örneklerinizi yönetmek için birkaç yararlı komut aşağıdadır.

• Örneklerinizi listeleyin

  gcloud compute instances list

• Örneği durdurun (birkaç saniye sürer)

  gcloud compute instances stop <instance name>

• Örneği başlatın (bu da birkaç saniye sürer)

  gcloud compute instances start <instance name>

• ve starling örneğine ssh ile bağlanın

  gcloud compute ssh <instance name>

VM’i Kurma

O son komutu Google Shell penceresinde çalıştırarak örneğinize giriş yapın. Sonraki adımlar şunlardan oluşacaktır:

1. apt-get install ile birkaç Debian paketi kurmak.
2. Anaconda veya Miniconda dağıtımını kurmak.
3. Jupyter notebook’ların güvenli şekilde çevrimiçi erişilebilir olmasını sağlamak için örneği yapılandırmak.

Debian Paketleri

Debian paketlerini kurarak başlayalım:

• Mini/Anaconda kurulumu için gereken bzip2,
• Her zaman faydalı olan git ve
• Şu anda zorunlu olmasa da ileride Python kütüphaneleri kurarken sıkça ihtiyaç duyacağınız libxml2-dev.

Hem Ubuntu hem Debian için geçerli aşağıdaki komutları terminalde çalıştırın:

$ sudo apt-get update
$ sudo apt-get install bzip2 git libxml2-dev

Anaconda / Miniconda

Yukarıdaki paketler kurulduktan sonra, Python 3 için Anaconda dağıtımını kurmaya geçin. İki seçeneğiniz var: Birçok bilimsel Python kütüphanesini barındıran, ancak bazılarının size gerekmeyebileceği tam Anaconda sürümünü kurabilir ya da Jupyter kütüphanelerini elle kurmanızı gerektiren daha hafif Miniconda sürümünü kurabilirsiniz. Süreç her iki durumda da oldukça benzerdir.

Daha hafif Miniconda dağıtımını kurmak için şunları çalıştırın

$ wget https://repo.continuum.io/miniconda/Miniconda3-latest-Linux-x86_64.sh
$ bash Miniconda3-latest-Linux-x86_64.sh
$ rm Miniconda3-latest-Linux-x86_64.sh
$ source .bashrc
$ conda install scikit-learn pandas jupyter ipython

Kurulum kabuk betiği ilk iki satırla indirilip çalıştırılır. Lisansı ve varsayılan konumu kabul etmelisiniz. 3. satırda artık gerekli olmayan kabuk dosyası kaldırılır. 4. satırda .bashrc’yi kaynak göstermek, yeni bir terminal açmadan conda komutunu $PATH’inize ekler. Son olarak, son satır gerekli Python kütüphanelerini kurar: scikit-learn pandas jupyter ipython.

Tam Anaconda dağıtımını kurma komutları da çok benzerdir. Kabuk betiğinin en güncel sürümünü almak için indirme sayfasını kontrol ettiğinizden emin olun:

$ wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh
$ bash Anaconda3-5.0.1-Linux-x86_64.sh
$ rm Anaconda3-5.0.1-Linux-x86_64.sh
$ source .bahsrc

Her şeyin doğru kurulduğunu doğrulamak için python --version ile Python sürümünüzü kontrol edin ve varsayılan olarak doğru Python’ın çağrıldığını which python komutuyla doğrulayın. Şuna benzer bir çıktı almalısınız

Artık standart veri bilimi kütüphaneleri (sklearn, pandas) yüklü çalışan bir Python ortamınız var.

Web Erişimine İzin Verme

Üçüncü ve son adım, VM’inizi Jupyter notebook’larınıza web erişimine izin verecek şekilde yapılandırmaktır.

Önce VM’i web’den erişilebilir hale getirmeniz gerekir. Bunu yapmak için Google Cloud konsolu üzerinden bir güvenlik duvarı kuralı oluşturacaksınız. Örnekler kontrol panelinize geri dönün ve sol üst menüden “VPC Network > Firewall rules”u seçin. “CREATE FIREWAL RULE” bağlantısına tıklayın ve şu değerleri girin:

• Ad: jupyter-rule (istediğiniz bir adı seçebilirsiniz)
• Source IP ranges: 0.0.0.0/0
• Specified protocols and ports: tcp:8888
• ve diğer tüm değişkenleri varsayılan değerlerinde bırakın.

Form şu şekilde görünmelidir:

Bu güvenlik duvarı kuralı, tüm gelen trafiğin (tüm IP’lerden) 8888 numaralı bağlantı noktasına ulaşmasına izin verir.

“Equivalent command line” bağlantısını kullanarak, güvenlik duvarı kuralının terminalden aşağıdaki komut satırıyla da oluşturulabileceğini görebilirsiniz:

$ gcloud compute --project=datacamp-gcp firewall-rules create jupyter-rule --direction=INGRESS --priority=1000 --network=default --action=ALLOW --rules=tcp:8888 --source-ranges=0.0.0.0/0

Şimdi VM sayfasına geri dönün (sol üst menü > Compute Engine > VM instances), VM adınıza tıklayın.

VM IP adresinizi not edin. Bu, Jupyter ortamınıza erişmek için tarayıcınızda kullanacağınız IP adresidir. Örneğimde IP adresi: 35.196.81.49, sizinki farklı olacaktır.

ve Güvenlik duvarı kurallarının işaretli olduğundan emin olun:

Jupyter Yapılandırması

Jupyter notebook’ları, notebook’larınıza çevrimiçi erişim ayarlamak için oluşturulması ve düzenlenmesi gereken bir yapılandırma dosyasıyla gelir. Yapılandırma dosyasını oluşturmak için terminalde jupyter notebook --generate-config komutunu çalıştırın. Ve bir parola oluşturmak için jupyter notebook password komutunu çalıştırın.

İpucu: Bu parolanın güçlü olduğundan emin olun!

Şimdi vim .jupyter/jupyter_notebook_config.py ile az önce oluşturduğununuz yapılandırma dosyasını düzenleyin ve dosyanın en üstüne şu satırı ekleyin

c.NotebookApp.ip = '*'

(vim’de düzenleme moduna geçmek için i karakterine basmanız yeterlidir). Şu tuş dizisiyle çıkıp kaydedin: ESC:wq.

Bu, notebook’un yalnızca yerel makinenizde çalışırken aşina olabileceğiniz http://localhost:8888 URL’si yerine, VM’inizdeki tüm IP adresleri için kullanılabilir olmasını sağlar.

Başlatma

Artık şu komut satırıyla Jupyter notebook’unuzu başlatmaya hazırsınız:

$ jupyter-notebook --no-browser --port=8888

Ve terminalde buna benzer bir şey görmelisiniz:

Tarayıcınızda http://<your_VM_IP>:8888/ URL’sine giderek yeni çalışır durumdaki Jupyter notebook’unuza erişin.

Her şeyin beklendiği gibi çalıştığını kontrol etmek için yeni bir Python 3 notebook’u oluşturun ve import pandas komutunu çalıştırın

Ara Not

Mevcut kurulumunuzla ilgili birkaç not:

• Tarayıcınızda kullandığınız IP adresi geçicidir. Yani VM’inizi her yeniden başlattığınızda notebook’larınız farklı bir URL’de olacaktır. Bu IP’yi kalıcı yapmak için: Sol üst menü > VPC Network > External IP addresses yoluna gidin ve açılır menüden “static”i seçin

• Mevcut kurulumunuzun güvenliği, daha önce belirlediğiniz Jupyter notebook parolasının gücüne dayanır. İnternetteki herkes sizinle aynı URL’yi kullanarak Jupyter ortamınıza erişebilir (ve botlar kesinlikle deneyecektir). Jupyter notebook’ların güçlü fakat çok güvensiz bir temel özelliği, doğrudan notebook’tan sudo erişimine sahip bir terminal başlatabilmenizdir. Bu, notebook parolanızı kırdıktan sonra notebook’unuza erişen herhangi birinin VM’inizi ele geçirebileceği ve potansiyel olarak faturalarınızı bir anda yükseltecek her şeyi çalıştırabileceği anlamına gelir. Bunu önlemek için ilk düzey önlemler şunları içerir

• Jupyter parolanızın güçlü olduğundan emin olmak

• Çalışmadığınız zamanlarda VM’inizi durdurmayı unutmamak

Ayrıca şu anda sunucuyu http üzerinden çalıştırıyorsunuz; bu yeterince güvenli değildir. Let’s Encrypt ücretsiz SSL/TLS sertifikaları sağlar ve jupyter belgelerinde önerilen şifreleme çözümüdür. Genel bir Jupyter notebook’u çalıştırmaya ilişkin güvenlik konuları hakkında daha fazla bilgi için şunu okuyun.

IPython

Jupyter notebook’lar çevrimiçi iş birliği için çok uygundur. Ancak terminalinizden ipython komutuyla bir IPython oturumu da çalıştırabilirsiniz. Bu, web arayüzü olmadan, sihirli komutlar (%paste, %run, ...) gibi bir Jupyter notebook’un tüm özelliklerine sahip bir IPython oturumu açacaktır.

R

VM’inizi Jupyter konsolunuzda R notebook’larını etkinleştirecek şekilde ayarlamak kolaydır. R Markdown’ı etkinleştirme talimatları, Karlijn Willems’in şu harika DataCamp eğitiminde mevcuttur: Jupyter ve R Markdown: R ile Notebook’lar.

Sonuç

Google Cloud, veri bilimi için birçok ilginç hizmet ve çok çekici bir ücretsiz deneme teklifinin yanı sıra güçlü ve kurulumu kolay VM örnekleri sunar. Web konsolu gezinmesi kolaydır ve sıklıkla mevcut yapılandırma sayfalarının komut satırı eşdeğerini gösterir; böylece gcloud SDK kullanımının önündeki engelleri azaltır.

Bu yazıda, bir VM örneğini nasıl seçeceğinizi ve başlatacağınızı, gerekli Debian paketlerini, Anaconda dağıtımını ve veri bilimi yığınını nasıl kuracağınızı ve son olarak tarayıcınızdan erişilebilen bir Jupyter notebook’u başlatmak için erişim kurallarını nasıl ayarlayacağınızı öğrendiniz.

Tüm süreç ilk seferde biraz karmaşık görünebilir, ancak daha fazla VM oluşturup başlattıkça hızla tanıdık hale gelecektir. Ve işler biraz fazla karışırsa, üzerinde çalıştığınız VM’i her zaman silebilir ve baştan başlayabilirsiniz. Bu, bulutta çalışmanın avantajlarından biridir. Birkaç denemeden sonra Google Cloud üzerinde eksiksiz veri bilimi ortamlarını birkaç dakika içinde ayağa kaldırabileceksiniz. Yorum ve sorularınızı benimle Twitter’da paylaşmaktan çekinmeyin: @alexip.