keras: Deep Learning di R

Seperti yang kini Anda ketahui, machine learning adalah subbidang dalam Ilmu Komputer (Computer Science/CS). Deep learning adalah subbidang machine learning berisi sekumpulan algoritme yang terinspirasi oleh struktur dan fungsi otak, yang biasanya disebut Jaringan Syaraf Tiruan (Artificial Neural Networks/ANN). Deep learning adalah salah satu tren terpanas dalam machine learning saat ini, dan ada banyak masalah di mana deep learning unggul, seperti robotika, pengenalan citra, dan Kecerdasan Buatan (Artificial Intelligence/AI).

Tutorial hari ini akan memberi Anda pengantar singkat deep learning di R dengan Keras melalui paket keras:

# Load in the keras package
library(keras)

# Install TensorFlow
install_tensorflow()

Memuat Data

Sekarang proses instalasi sudah jelas dan workspace Anda siap, Anda bisa mulai memuat data! Pada titik ini, Anda memiliki tiga opsi besar terkait data Anda: Anda bisa memilih salah satu dataset bawaan yang disertakan dengan paket keras, Anda bisa memuat dataset Anda sendiri dari, misalnya, file CSV, atau Anda bisa membuat data dummy.

Dalam situasi mana pun, Anda akan melihat bahwa Anda dapat mulai menggunakan paket dengan cepat. Bagian ini akan membahas tiga opsi tersebut secara singkat dan menjelaskan bagaimana Anda dapat memuat (atau membuat) data yang Anda butuhkan untuk memulai!

# Read in MNIST data
mnist <- dataset_mnist()

# Read in CIFAR10 data
cifar10 <- dataset_cifar10()

# Read in IMDB data
imdb <- dataset_imdb()

Eksplorasi Data

Untuk tutorial ini, Anda akan terus bekerja dengan dataset iris yang terkenal, yang Anda impor dengan fungsi read.csv().

Bagi Anda yang tidak memiliki pengetahuan biologi yang diperlukan untuk bekerja dengan data ini, berikut sedikit latar belakang: semua bunga memiliki sepal dan petal. Sepal menyelimuti petal dan biasanya berwarna hijau serta mirip daun, sementara petal umumnya berupa daun berwarna. Untuk bunga iris, ini sedikit berbeda, seperti yang dapat Anda lihat pada gambar berikut:

Anda mungkin sudah melihat pada bagian sebelumnya bahwa data frame iris tidak memiliki nama kolom setelah impor. Untuk sisa tutorial, itu tidak terlalu penting: meskipun fungsi read.csv() mengembalikan data dalam data.frame, data yang perlu Anda operkan ke fungsi fit() harus berupa matriks atau array.

Beberapa hal yang perlu diingat tentang dua struktur data yang baru saja disebutkan: - Matriks dan array tidak memiliki nama kolom; - Matriks adalah objek dua dimensi dengan satu tipe data; - Array adalah objek multi-dimensi dengan satu tipe data;

Tip: Tonton video ini jika Anda ingin mengulas kembali struktur data di R!

Perlu dicatat bahwa data frame, di sisi lain, adalah jenis daftar bernama khusus di mana semua elemen memiliki panjang yang sama. Ini adalah objek multi-dimensi yang dapat berisi beberapa tipe data. Anda sudah melihat ini benar ketika Anda memeriksa struktur data frame iris pada bagian sebelumnya. Dengan mengetahui hal ini dan mempertimbangkan bahwa Anda perlu bekerja menuju objek dua atau multi-dimensi dengan satu tipe data, Anda sebaiknya sudah bersiap melakukan sedikit prapemrosesan sebelum mulai membangun jaringan syaraf!

Untuk saat ini, nama kolom bisa berguna untuk keperluan eksplorasi, dan tentunya akan memudahkan pemahaman Anda atas data, jadi mari tambahkan beberapa nama kolom dengan bantuan fungsi names(). Selanjutnya, Anda bisa langsung menggunakan variabel iris dalam eksplorasi data! Plot, misalnya, bagaimana korelasi panjang petal dan lebar petal dengan fungsi plot().

Perhatikan bahwa Anda menggunakan fungsi unclass() untuk mengonversi nama spesies, yaitu “setosa, versicolor”, dan “virginica”, menjadi numerik 1, 2, dan 3.

Sekarang lihat lebih dekat hasil fungsi plot:

Grafik menunjukkan korelasi positif antara Petal.Length dan Petal.Width untuk berbagai spesies bunga iris. Namun, ini adalah sesuatu yang mungkin ingin Anda uji dengan fungsi cor(), yang akan memberikan korelasi keseluruhan antara semua atribut yang disertakan dalam dataset:

Selain itu, Anda dapat menggunakan paket corrplot bersama fungsi cor() untuk memplot korelasi antar atribut data Anda; Dalam kasus ini, Anda menghitung korelasi keseluruhan untuk semua atribut data frame iris. Anda menyimpan hasil perhitungan ini dalam variabel M dan mengopernya ke fungsi corrplot().

Juga, jangan lupa menentukan argumen method untuk menunjukkan bagaimana Anda ingin data diplot!

Anda dapat bereksperimen lebih lanjut dengan metode visualisasi pada cuplikan DataCamp Light di bawah ini:

Gunakan konsol R untuk mengeksplorasi data Anda lebih lanjut.

Jika Anda ingin membuat plot untuk data ini dengan paket ggvis, yaitu tata bahasa grafik interaktif, lihat tutorial Machine Learning in R For Beginners dari DataCamp atau ikuti kursus ggvis dari DataCamp.

Prapemrosesan Data

Sebelum Anda dapat membangun model, Anda juga perlu memastikan bahwa data Anda dibersihkan, dinormalisasi (jika perlu) dan dibagi menjadi set pelatihan dan pengujian. Karena dataset berasal dari UCI Machine Learning Repository, Anda dapat mengharapkannya sudah cukup bersih, tetapi mari kita periksa ulang kualitas data Anda.

Sekilas, saat Anda memeriksa data dengan head(), Anda tidak benar-benar melihat hal yang janggal, bukan? Mari gunakan summary() dan str() untuk secara singkat mengulas apa yang Anda pelajari ketika memeriksa apakah impor data Anda berhasil:

Sekarang Anda yakin bahwa data cukup bersih, Anda dapat mulai memeriksa apakah normalisasi diperlukan untuk data apa pun yang Anda gunakan dalam tutorial ini.

x_train <- imdb$train$x
y_train <- imdb$train$y
x_test <- imdb$test$x
y_test <- imdb$test$y

Membangun Model

Untuk mulai membangun model, Anda perlu terlebih dahulu menginisialisasi model sequential dengan bantuan fungsi keras_model_sequential(). Lalu, Anda siap mulai memodelkan.

Namun, sebelum mulai, ada baiknya meninjau kembali pertanyaan awal Anda tentang dataset ini: bisakah Anda memprediksi spesies bunga Iris tertentu? Lebih mudah bekerja dengan data numerik, dan Anda telah mempraproses data serta melakukan one-hot encoding pada nilai variabel target: sebuah bunga adalah salah satu dari jenis versicolor, setosa, atau virginica dan ini direfleksikan dengan nilai biner 1 dan 0.

Jenis jaringan yang berkinerja baik pada masalah seperti ini adalah multi-layer perceptron. Jenis jaringan syaraf ini sering kali fully connected. Itu berarti Anda ingin membangun tumpukan layer fully connected yang relatif sederhana untuk menyelesaikan masalah ini. Untuk fungsi aktivasi yang akan Anda gunakan, sebaiknya gunakan salah satu yang paling umum di sini demi tujuan berkenalan dengan Keras dan jaringan syaraf, yaitu fungsi aktivasi relu. Fungsi aktivasi rectifier ini digunakan pada hidden layer, yang secara umum merupakan praktik yang baik.

Selain itu, Anda juga melihat bahwa fungsi aktivasi softmax digunakan pada output layer. Anda melakukan ini karena ingin memastikan nilai keluaran berada pada rentang 0 hingga 1 dan dapat digunakan sebagai probabilitas prediksi:

Perhatikan bagaimana output layer menghasilkan 3 nilai keluaran, masing-masing untuk setiap kelas Iris (versicolor, virginica, atau setosa). Layer pertama, yang berisi 8 node tersembunyi, memiliki input_shape sebesar 4. Ini karena data pelatihan Anda iris.training memiliki 4 kolom.

Anda dapat memeriksa model lebih lanjut dengan fungsi berikut:

• Gunakan fungsi summary() untuk mencetak ringkasan representasi model;
• get_config() akan mengembalikan daftar yang berisi konfigurasi model;
• get_layer() akan mengembalikan konfigurasi layer.
• Atribut layers dapat digunakan untuk mengambil daftar layer model dalam bentuk pipih;
• Untuk mendaftarkan tensor input, Anda dapat menggunakan atribut inputs; dan
• Terakhir, untuk mengambil tensor output, Anda dapat menggunakan atribut outputs.

Kompilasi dan Fit Model

Sekarang setelah Anda menyiapkan arsitektur model, saatnya mengompilasi dan menyesuaikan model dengan data. Untuk mengompilasi model, Anda mengonfigurasinya dengan optimizer adam dan fungsi loss categorical_crossentropy. Selain itu, Anda juga memantau akurasi selama pelatihan dengan mengoper 'accuracy' ke argumen metrics.

Optimizer dan loss adalah dua argumen yang diperlukan jika Anda ingin mengompilasi model.

Beberapa algoritma optimisasi paling populer yang digunakan adalah Stochastic Gradient Descent (SGD), ADAM, dan RMSprop. Bergantung pada algoritma yang Anda pilih, Anda perlu menyetel parameter tertentu, seperti laju pembelajaran (learning rate) atau momentum. Pemilihan fungsi loss bergantung pada tugas yang Anda kerjakan: misalnya, untuk masalah regresi, Anda biasanya menggunakan Mean Squared Error (MSE).

Seperti yang Anda lihat pada contoh ini, Anda menggunakan fungsi loss categorical_crossentropy untuk masalah klasifikasi multi-kelas untuk menentukan apakah iris bertipe versicolor, virginica, atau setosa. Namun, perhatikan bahwa jika Anda memiliki masalah klasifikasi biner, Anda sebaiknya menggunakan fungsi loss binary_crossentropy.

Selanjutnya, Anda juga dapat melakukan fitting model ke data Anda; Dalam kasus ini, Anda melatih model selama 200 epoch atau iterasi atas semua sampel di iris.training dan iris.trainLabels, dengan batch berisi 5 sampel.

Tip jika Anda mau, Anda juga dapat menentukan argumen verbose di fungsi fit(). Dengan menyetel argumen ini ke 1, Anda menyatakan bahwa Anda ingin melihat log progress bar.

Yang Anda lakukan dengan kode di atas adalah melatih model untuk jumlah epoch tertentu atau paparan terhadap dataset pelatihan. Satu epoch adalah satu kali lintasan melalui seluruh set pelatihan, diikuti dengan pengujian set verifikasi. Ukuran batch yang Anda tentukan dalam kode di atas mendefinisikan jumlah sampel yang akan dipropagasikan melalui jaringan. Selain itu, dengan cara ini, Anda mengoptimalkan efisiensi karena Anda memastikan tidak memuat terlalu banyak pola masukan ke dalam memori secara bersamaan.

Visualisasikan Riwayat Pelatihan Model

Selain itu, ada baiknya Anda tahu bahwa Anda juga dapat memvisualisasikan proses fitting jika Anda menyimpan baris kode pada potongan DataCamp Light di atas ke dalam sebuah variabel. Anda kemudian dapat meneruskan variabel tersebut ke fungsi plot(), seperti yang Anda lihat pada potongan kode ini!

Pastikan untuk mempelajari plot tersebut lebih detail.

Sekilas, tidak mengherankan jika semuanya terlihat agak berantakan. Anda mungkin tidak sepenuhnya tahu apa yang sedang Anda lihat, bukan?

Satu hal yang baik untuk diketahui adalah bahwa loss dan acc menunjukkan loss dan akurasi model untuk data pelatihan, sementara val_loss dan val_acc adalah metrik yang sama, loss dan akurasi, untuk data uji atau validasi.

Tetapi, meskipun Anda sudah tahu ini, tidak mudah untuk menafsirkan kedua grafik tersebut. Mari kita coba membaginya menjadi bagian-bagian yang mungkin lebih mudah Anda pahami! Anda akan memisahkan dua plot ini dan membuat dua plot terpisah: satu untuk loss model dan satu lagi untuk akurasi model. Untungnya, Anda bisa dengan mudah menggunakan operator $ untuk mengakses data dan memplotnya selangkah demi selangkah.

Lihat kotak DataCamp Light di bawah untuk melihat bagaimana Anda dapat melakukannya:

Dalam plot pertama ini, Anda memplot loss model pada data pelatihan dan data uji. Sekarang saatnya melakukan hal yang sama, tetapi untuk akurasi model:

Beberapa hal yang perlu diingat di sini adalah sebagai berikut:

• Jika akurasi data pelatihan Anda terus meningkat sementara akurasi data validasi memburuk, kemungkinan Anda mengalami overfitting: model Anda mulai sekadar menghafal data alih-alih belajar darinya.
• Jika tren akurasi pada kedua dataset masih naik pada beberapa epoch terakhir, Anda dapat melihat dengan jelas bahwa model belum berlebihan mempelajari dataset pelatihan.

Memprediksi Label untuk Data Baru

Sekarang model Anda sudah dibuat, dikompilasi, dan telah difit ke data, saatnya benar-benar menggunakan model Anda untuk memprediksi label untuk set uji iris.test Anda. Seperti yang mungkin Anda harapkan, Anda dapat menggunakan fungsi predict() untuk melakukannya. Setelah itu, Anda dapat mencetak confusion matrix untuk melihat prediksi dan label sebenarnya dari data iris.test dengan bantuan fungsi table().

Bagaimana menurut Anda hasilnya? Sekilas, apakah model yang Anda buat ini memberikan prediksi yang tepat?

Mengevaluasi Model Anda

Meski Anda sudah punya gambaran kecil tentang kinerja model dengan melihat label yang diprediksi untuk iris.test, tetap penting untuk meluangkan waktu mengevaluasi model Anda. Gunakan fungsi evaluate() untuk melakukannya: masukkan data uji iris.test, label uji iris.testLabels, dan tentukan ukuran batch. Simpan hasilnya dalam variabel score, seperti pada contoh kode di bawah ini:

Dengan mencetak score, Anda akan mendapatkan nilai loss dan nilai metrik (dalam kasus ini 'accuracy').

Fine-tuning Model Anda

Fine-tuning model Anda kemungkinan akan sering Anda lakukan, terutama di awal, karena tidak semua masalah klasifikasi dan regresi sesederhana yang Anda lihat di bagian pertama tutorial ini. Seperti yang Anda baca di atas, sudah ada dua keputusan kunci yang mungkin ingin Anda sesuaikan: berapa banyak layer yang akan digunakan dan berapa banyak “hidden unit” yang akan Anda pilih untuk tiap layer.

Pada awalnya, ini benar-benar akan menjadi sebuah perjalanan.

Selain mencoba-coba jumlah epoch atau ukuran batch, ada cara lain untuk menyetel model Anda dengan harapan kinerjanya lebih baik: dengan menambahkan layer, menambah jumlah hidden unit, dan meneruskan parameter optimisasi Anda sendiri ke fungsi compile(). Bagian ini akan membahas ketiga opsi tersebut.

Menyimpan, Memuat, atau Mengekspor Model Anda

Ada satu hal terakhir dalam perjalanan Anda dengan paket keras, yaitu menyimpan atau mengekspor model Anda sehingga Anda dapat memuatnya kembali di waktu lain.

• Pertama, Anda dapat dengan mudah menggunakan fungsi save_model_hdf5() dan load_model_hdf5() untuk menyimpan dan memuat model ke dalam workspace Anda:

save_model_hdf5(model, "my_model.h5")
model <- load_model_hdf5("my_model.h5")

• Selain itu, Anda juga dapat menyimpan dan memuat bobot model dengan fungsi save_model_weights_hdf5() dan load_model_weights_hdf5():

save_model_weights_hdf5("my_model_weights.h5")
model %>% load_model_weights_hdf5("my_model_weights.h5")

• Terakhir, ada baiknya mengetahui bahwa Anda juga dapat mengekspor konfigurasi model Anda ke JSON atau YAML. Di sini, fungsi model_to_json() dan model_to_yaml() akan membantu Anda. Untuk memuat konfigurasi kembali ke workspace Anda, Anda cukup menggunakan fungsi model_from_json() dan model_from yaml():

json_string <- model_to_json(model)
model <- model_from_json(json_string)

yaml_string <- model_to_yaml(model)
model <- model_from_yaml(yaml_string)