keras: R ile Derin Öğrenme

Artık bildiğiniz gibi, makine öğrenimi Bilgisayar Bilimi (CS) içinde bir alt alandır. Derin öğrenme ise, beynin yapısından ve işlevinden esinlenen ve genellikle Yapay Sinir Ağları (ANN) olarak adlandırılan bir algoritmalar kümesi olan makine öğreniminin bir alt alanıdır. Derin öğrenme günümüzde makine öğreniminin en popüler trendlerinden biridir ve robotik, görüntü tanıma ve Yapay Zekâ (AI) gibi derin öğrenmenin parladığı pek çok problem vardır.

Bugünkü eğitim, R'de Keras ile derin öğrenmeye kısa bir giriş sunacak; bunun için keras paketini kullanacağız:

# Load in the keras package
library(keras)

# Install TensorFlow
install_tensorflow()

Verilerin Yüklenmesi

Kurulum süreci netleştiğine ve çalışma alanınız hazır olduğuna göre, verilerinizi yüklemeye başlayabilirsiniz! Bu noktada, verilerinizle ilgili üç büyük seçeneğiniz var: keras paketiyle gelen yerleşik veri kümelerinden birini kullanmayı seçebilir, örneğin CSV dosyalarından kendi veri kümenizi yükleyebilir veya bazı kukla veriler oluşturabilirsiniz.

Hangi durumda olursanız olun, paketle hızlıca işe koyulabileceğinizi göreceksiniz. Bu bölüm, bu üç seçeneği hızlıca ele alacak ve başlamanız için gereken verileri nasıl yükleyeceğinizi (veya oluşturacağınızı) açıklayacaktır!

# Read in MNIST data
mnist <- dataset_mnist()

# Read in CIFAR10 data
cifar10 <- dataset_cifar10()

# Read in IMDB data
imdb <- dataset_imdb()

Veri Keşfi

Bu eğitimde, read.csv() işleviyle içe aktardığınız ünlü iris veri kümesiyle çalışmaya devam edeceksiniz.

Bu verilerle çalışmak için gerekli biyoloji bilgisine sahip olmayanlar için biraz arka plan: tüm çiçeklerde çanak yaprak (sepal) ve taç yaprak (petal) bulunur. Çanak yaprak, taç yaprakları çevreler ve tipik olarak yeşil ve yaprak gibidir; taç yapraklar ise genellikle renklidir. İris çiçeklerinde bu durum biraz farklıdır; bunu aşağıdaki resimde görebilirsiniz:

Önceki bölümde, iris veri çerçevesinin içe aktarma sonrasında herhangi bir sütun adına sahip olmadığını zaten görmüş olabilirsiniz. Kalan kısım için bu çok önemli değil: read.csv() işlevi verileri size bir data.frame olarak döndürse de, fit() işlevine geçirmeniz gereken verilerin bir matris veya dizi olması gerekir.

Yeni bahsedilen iki veri yapısı hakkında akılda tutulması gerekenler: - Matris ve dizilerin sütun adları yoktur; - Matrisler tek bir veri tipinden oluşan iki boyutlu nesnelerdir; - Diziler tek bir veri tipinden oluşan çok boyutlu nesnelerdir;

İpucu: R’deki veri yapılarıyla ilgili bir hatırlatma istiyorsanız bu videoya göz atın!

Öte yandan veri çerçevesi, tüm öğelerin aynı uzunlukta olduğu, adlandırılmış özel bir liste türüdür. Birden fazla veri tipi içerebilen çok boyutlu bir nesnedir. Önceki bölümde iris veri çerçevesinin yapısını kontrol ettiğinizde bunun doğru olduğunu zaten gördünüz. Bunu bilerek ve tek bir veri tipinden oluşan iki veya çok boyutlu bir nesneye doğru çalışmanız gerektiğini göz önünde bulundurarak, sinir ağınızı kurmaya başlamadan önce biraz ön işleme yapmaya hazırlanmalısınız!

Şimdilik sütun adları keşif amacıyla kullanışlı olabilir ve veriyi anlamanızı kesinlikle kolaylaştırır; bu yüzden names() işlevinin yardımıyla bazı sütun adları ekleyelim. Ardından veri keşfinde hemen iris değişkenini kullanabilirsiniz! Örneğin, plot() işleviyle taç yaprak uzunluğu ve taç yaprak genişliğinin nasıl korele olduğunu görselleştirin.

Tür adlarını, yani “setosa, versicolor” ve “virginica”yı sayısal 1, 2 ve 3’e dönüştürmek için unclass() işlevini kullandığınıza dikkat edin.

Şimdi çizim işlevinin sonucuna daha yakından bakın:

Grafik, iris çiçeklerinin farklı türleri için Petal.Length ile Petal.Width arasında pozitif bir korelasyon olduğunu göstermektedir. Ancak, bunu veri kümesine dahil edilen tüm öznitelikler arasındaki genel korelasyonu verecek cor() işleviyle test etmek isteyebilirsiniz:

Ek olarak, corrplot paketini cor() işleviyle birlikte kullanarak verinizin öznitelikleri arasındaki korelasyonları çizebilirsiniz; Bu durumda, iris veri çerçevesinin tüm öznitelikleri için genel korelasyonu hesaplıyorsunuz. Bu hesabın sonucunu M değişkeninde saklayıp corrplot() işlevine geçiriyorsunuz.

Ayrıca, verilerin nasıl çizileceğini belirtmek için bir method argümanı belirtmeyi unutmayın!

Aşağıdaki DataCamp Light bloğunda görselleştirme yöntemiyle daha fazla deney yapabilirsiniz:

Verilerinizi daha fazla keşfetmek için R konsolunu kullanın.

Bu veriler için grafikler oluşturmak üzere etkileşimli grafik dilbilgisi olan ggvis paketini kullanmak isterseniz DataCamp’in Yeni Başlayanlar için R ile Makine Öğrenimi eğitimine bakın veya DataCamp’in ggvis kursunu alın.

Veri Ön İşleme

Modelinizi kurmadan önce, verilerinizin temizlendiğinden, normalize edildiğinden (uygulanabilirse) ve eğitim ile test kümelerine ayrıldığından da emin olmalısınız. Veri kümesi UCI Machine Learning Repository’den geldiği için zaten bir ölçüde temiz olmasını bekleyebilirsiniz; yine de verinizin kalitesini bir kez daha kontrol edelim.

İlk bakışta, verileri head() ile incelerken olağan dışı bir şey görmemiştiniz, değil mi? Veri aktarımınızın başarılı olup olmadığını kontrol ederken öğrendiklerinizi kısaca gözden geçirmek için summary() ve str() işlevlerini kullanalım:

Artık verilerin yeterince temiz olduğundan emin olduğunuza göre, bu eğitimde üzerinde çalıştığınız verilerin herhangi birinde normalleştirme gerekip gerekmediğini kontrol etmeye başlayabilirsiniz.

x_train <- imdb$train$x
y_train <- imdb$train$y
x_test <- imdb$test$x
y_test <- imdb$test$y

Modelin Kurulması

Bir model kurmaya başlamak için önce keras_model_sequential() işlevinin yardımıyla sıralı bir model başlatmalısınız. Sonra modellemeye hazırsınız.

Ancak başlamadan önce, bu veri kümesiyle ilgili orijinal sorunuzu yeniden gözden geçirmek iyi bir fikirdir: belirli bir İris çiçeğinin türünü tahmin edebilir misiniz? Sayısal verilerle çalışmak daha kolaydır ve siz verileri ön işlediniz ve hedef değişkenin değerlerini one-hot olarak kodladınız: bir çiçek ya versicolor, setosa ya da virginica türündedir ve bu durum ikili 1 ve 0 değerleriyle yansıtılır.

Bu tür bir problemde iyi performans gösteren ağ türü, çok katmanlı algılayıcıdır. Bu tür sinir ağı genellikle tamamen bağlıdır. Bu, bu problemi çözmek için nispeten basit, tamamen bağlı katmanlardan oluşan bir yığın inşa etmeyi amaçladığınız anlamına gelir. Kullanacağınız aktivasyon işlevlerine gelince, Keras ve sinir ağlarına aşina olmak amacıyla burada en yaygın olanlardan birini kullanmak en iyisidir: relu aktivasyon işlevi. Bu doğrultucu aktivasyon işlevi, genel olarak iyi bir uygulama olan bir gizli katmanda kullanılır.

Buna ek olarak, çıktı katmanında softmax aktivasyon işlevinin kullanıldığını da görürsünüz. Bunu, çıktı değerlerinin 0 ile 1 aralığında olmasını ve tahmini olasılıklar olarak kullanılabilmesini sağlamak için yaparsınız:

Çıktı katmanının, her bir Iris sınıfı (versicolor, virginica veya setosa) için birer tane olmak üzere 3 çıktı değeri oluşturduğuna dikkat edin. Buna karşılık, 8 gizli düğüm içeren ilk katmanın input_shape değeri 4’tür. Bunun nedeni, eğitim verileriniz olan iris.training’in 4 sütuna sahip olmasıdır.

Aşağıdaki işlevlerle modelinizi daha ayrıntılı inceleyebilirsiniz:

• summary() işlevini kullanarak modelinizin özet bir gösterimini yazdırabilirsiniz;
• get_config() modeli yapılandırmasını içeren bir liste döndürür;
• get_layer() katman yapılandırmasını döndürür.
• layers özelliği modelin katmanlarının düzleştirilmiş bir listesini almak için kullanılabilir;
• Girdi tensörlerini listelemek için inputs özelliğini kullanabilirsiniz; ve
• Son olarak, çıktı tensörlerini almak için outputs özelliğinden yararlanabilirsiniz.

Modeli Derleyin ve Uydurun

Artık modelinizin mimarisini oluşturduğunuza göre, modeli derleme ve veriye uydurma zamanı. Modelinizi derlemek için modeli adam eniyileyicisi ve categorical_crossentropy kayıp işleviyle yapılandırırsınız. Ek olarak, 'accuracy'yi metrics argümanına geçirerek eğitim sırasında doğruluğu da izlersiniz.

Modeli derlemek istiyorsanız, eniyileyici ve kayıp olmak üzere iki argüman gereklidir.

En popüler eniyileme algoritmalarından bazıları Stokastik Gradyan İnişi (SGD), ADAM ve RMSprop’tur. Hangi algoritmayı seçerseniz seçin, öğrenme oranı veya momentum gibi bazı parametreleri ayarlamanız gerekir. Kayıp işlevinin seçimi elinizdeki göreve bağlıdır: örneğin, bir regresyon probleminde genellikle Ortalama Kare Hatası (MSE) kullanılır.

Bu örnekte gördüğünüz gibi, bir irisin versicolor, virginica veya setosa türünde olup olmadığını belirlemeye yönelik çok sınıflı sınıflandırma problemi için categorical_crossentropy kayıp işlevini kullandınız. Ancak, ikili sınıflandırma problemi olsaydı, binary_crossentropy kayıp işlevinden yararlanmanız gerektiğini unutmayın.

Bir sonraki adımda, modeli verilerinize de uydurabilirsiniz; Bu durumda, iris.training ve iris.trainLabels içindeki tüm örnekler üzerinde 200 epoch veya yineleme boyunca, 5 örnekten oluşan yığınlar halinde modeli eğitirsiniz.

İpucu: isterseniz, fit() işlevinde verbose argümanını da belirtebilirsiniz. Bu argümanı 1 olarak ayarlayarak ilerleme çubuğu günlüğünü görmek istediğinizi belirtirsiniz.

Yukarıdaki kodla yaptığınız şey, belirli sayıda epoch için veya eğitim veri kümesine yapılan maruz kalmalar için modeli eğitmektir. Bir epoch, tüm eğitim kümesi üzerinden tek bir geçişin ardından doğrulama kümesinin test edilmesidir. Yukarıdaki kodda belirttiğiniz yığın boyutu, ağ üzerinden iletilecek örnek sayısını tanımlar. Bunu yaparak aynı anda çok fazla girdi örüntüsünü belleğe yüklemediğiniz için verimliliği de artırırsınız.

Model Eğitim Geçmişini Görselleştirin

Ayrıca, yukarıdaki DataCamp Light bloğundaki kod satırlarını bir değişkene atarsanız uyumu da görselleştirebileceğinizi bilmekte fayda var. Ardından, bu değişkeni plot() işlevine, bu özel kod bloğunda gördüğünüz gibi, gönderebilirsiniz!

Grafiği daha ayrıntılı incelemeyi unutmayın.

İlk bakışta, her şeyin biraz dağınık görünmesi şaşırtıcı değil. Tam olarak neye baktığınızı bilmiyor olabilirsiniz, değil mi?

Bilmeniz gereken iyi bir nokta, loss ve acc değerlerinin eğitim verileri için modelin kaybını ve doğruluğunu, val_loss ve val_acc değerlerinin ise test veya doğrulama verileri için aynı ölçütleri, yani kayıp ve doğruluğu ifade ettiğidir.

Ancak bunu bilseniz bile, bu iki grafiği yorumlamak kolay değildir. Bunu daha kolay anlayabileceğiniz parçalara ayıralım! Bu iki grafiği ayırıp ikisini de ayrı ayrı çizeceksiniz: biri model kaybı, diğeri model doğruluğu için olacak. Neyse ki, verilere erişmek ve adım adım çizdirmek için $ operatöründen kolayca yararlanabilirsiniz.

Bunu nasıl yapabileceğinizi görmek için aşağıdaki DataCamp Light kutusuna göz atın:

Bu ilk grafikte, modelin eğitim ve test verilerindeki kaybını çizdiniz. Şimdi aynı şeyi modelin doğruluğu için de yapma zamanı:

Burada aklınızda tutmanız gereken bazı noktalar şunlardır:

• Eğitim verilerinizin doğruluğu artmaya devam ederken doğrulama verilerinizin doğruluğu kötüleşiyorsa, muhtemelen aşırı uyum söz konusudur: modeliniz öğrenmek yerine verileri ezberlemeye başlıyordur.
• Son birkaç epoch için her iki veri kümesinde de doğruluk eğilimi hâlâ yükseliyorsa, modelin henüz eğitim veri kümesini aşırı öğrenmediğini açıkça görebilirsiniz.

Yeni Verilerin Etiketlerini Tahmin Edin

Artık modeliniz oluşturuldu, derlendi ve verilere uyduruldu; sırada modeli gerçekten kullanarak test kümeniz olan iris.test için etiketleri tahmin etmek var. Tahmin yapmak için beklediğiniz gibi predict() işlevini kullanabilirsiniz. Ardından, table() işlevinin yardımıyla iris.test verisinin tahminlerini ve gerçek etiketlerini görmek için karmaşıklık matrisini yazdırabilirsiniz.

Sonuçlar hakkında ne düşünüyorsunuz? İlk bakışta, oluşturduğunuz bu model doğru tahminler yapıyor mu?

Modelinizi Değerlendirme

iris.test için tahmin edilen etiketlere bakarak modelinizin nasıl performans gösterdiğine dair az çok bir fikriniz olsa da, modelinizi değerlendirmeniz için zaman ayırmanız hâlâ önemlidir. Bunu yapmak için evaluate() işlevini kullanın: test verisi iris.test’i, test etiketleri iris.testLabels’ı girin ve yığın boyutunu tanımlayın. Sonucu, aşağıdaki kod örneğinde olduğu gibi score adlı bir değişkende saklayın:

score’u yazdırdığınızda, geri dönen değerler kayıp değeri ve ölçüt değeri (bu durumda 'accuracy') olacaktır.

Modelinizi İnce Ayarlama

Modelinizi ince ayarlamak, özellikle başlangıçta, muhtemelen sıkça yapacağınız bir şeydir; çünkü tüm sınıflandırma ve regresyon problemleri bu eğitimin ilk bölümünde gördüğünüz kadar doğrudan olmayabilir. Yukarıda okuduğunuz gibi, muhtemelen ayarlamak isteyeceğiniz iki kilit karar vardır: kaç katman kullanacağınız ve her katman için kaç “gizli birim” seçeceğiniz.

Başlangıçta bu gerçekten epey bir yolculuk olacaktır.

Epoch sayısı veya yığın boyutuyla oynamanın yanı sıra, modelinizi daha iyi performans göstereceği umuduyla ayarlayabileceğiniz başka yollar da vardır: katmanlar ekleyerek, gizli birim sayısını artırarak ve kendi eniyileme parametrelerinizi compile() işlevine geçirerek. Bu bölüm bu üç seçeneği ele alacaktır.

Modelinizi Kaydetme, Yükleme veya Dışa Aktarma

keras paketiyle yolculuğunuzda geriye kalan son bir şey var: modelinizi daha sonra başka bir zamanda geri yükleyebilmek için kaydetmek veya dışa aktarmak.

• Öncelikle, modelinizi çalışma alanınıza kaydetmek ve yüklemek için save_model_hdf5() ve load_model_hdf5() fonksiyonlarını kolayca kullanabilirsiniz:

save_model_hdf5(model, "my_model.h5")
model <- load_model_hdf5("my_model.h5")

• Ek olarak, model ağırlıklarını save_model_weights_hdf5() ve load_model_weights_hdf5() fonksiyonlarıyla da kaydedip yükleyebilirsiniz:

save_model_weights_hdf5("my_model_weights.h5")
model %>% load_model_weights_hdf5("my_model_weights.h5")

• Son olarak, model yapılandırmanızı JSON veya YAML olarak dışa aktarabileceğinizi bilmekte fayda var. Burada model_to_json() ve model_to_yaml() fonksiyonları yardımcınız olacaktır. Yapılandırmaları çalışma alanınıza geri yüklemek için model_from_json() ve model_from yaml() fonksiyonlarını kullanabilirsiniz:

json_string <- model_to_json(model)
model <- model_from_json(json_string)

yaml_string <- model_to_yaml(model)
model <- model_from_yaml(yaml_string)