keras: Học sâu trong R

Như bạn đã biết, học máy là một phân ngành trong Khoa học Máy tính (CS). Khi đó, học sâu là một phân ngành của học máy, gồm một tập hợp thuật toán lấy cảm hứng từ cấu trúc và chức năng của não bộ, thường được gọi là Mạng Nơ-ron Nhân tạo (ANN). Học sâu hiện là một trong những xu hướng nóng nhất của học máy, và có rất nhiều bài toán mà học sâu tỏa sáng, như robot, nhận dạng hình ảnh và Trí tuệ Nhân tạo (AI).

Hôm nay, hướng dẫn này sẽ mang đến cho bạn phần giới thiệu ngắn về học sâu trong R với Keras bằng gói keras:

# Load in the keras package
library(keras)

# Install TensorFlow
install_tensorflow()

Nạp dữ liệu

Giờ quá trình cài đặt đã minh bạch và không gian làm việc của bạn đã sẵn sàng, bạn có thể bắt đầu nạp dữ liệu! Lúc này, bạn có ba lựa chọn lớn cho dữ liệu: bạn có thể dùng một trong các tập dữ liệu dựng sẵn đi kèm gói keras, bạn có thể nạp tập dữ liệu của riêng mình từ, ví dụ, tệp CSV, hoặc bạn có thể tạo dữ liệu giả.

Dù ở tình huống nào, bạn sẽ thấy có thể bắt đầu với gói rất nhanh. Phần này sẽ lướt nhanh qua cả ba lựa chọn và giải thích cách bạn có thể nạp (hoặc tạo) dữ liệu cần thiết để bắt đầu!

# Read in MNIST data
mnist <- dataset_mnist()

# Read in CIFAR10 data
cifar10 <- dataset_cifar10()

# Read in IMDB data
imdb <- dataset_imdb()

Khám phá dữ liệu

Trong hướng dẫn này, bạn sẽ tiếp tục làm việc với tập dữ liệu iris nổi tiếng mà bạn đã nhập bằng hàm read.csv().

Với những bạn không có kiến thức sinh học cần thiết để làm việc với dữ liệu này, dưới đây là một ít thông tin nền: mọi bông hoa đều có đài hoa (sepal) và cánh hoa (petal). Đài hoa bao bọc các cánh và thường xanh, giống lá, trong khi cánh hoa thường là các lá có màu. Với hoa iris, điều này có đôi chút khác biệt, như bạn thấy trong hình sau:

Bạn có thể đã thấy ở phần trước rằng khung dữ liệu iris không có tên cột sau khi nhập. Giờ, với phần còn lại của hướng dẫn, điều đó không quá quan trọng: mặc dù hàm read.csv() trả về dữ liệu dạng data.frame, dữ liệu bạn cần truyền cho hàm fit() phải là ma trận hoặc mảng.

Một vài điều cần nhớ về hai cấu trúc dữ liệu vừa nêu: - Ma trận và mảng không có tên cột; - Ma trận là đối tượng hai chiều có cùng kiểu dữ liệu; - Mảng là đối tượng đa chiều có cùng kiểu dữ liệu;

Mẹo: Xem video này nếu bạn muốn ôn lại các cấu trúc dữ liệu trong R!

Lưu ý rằng data frame, ngược lại, là một kiểu danh sách có tên đặc biệt, nơi mọi phần tử có cùng độ dài. Nó là đối tượng đa chiều có thể chứa nhiều kiểu dữ liệu. Bạn đã thấy điều này đúng khi kiểm tra cấu trúc của data frame iris ở phần trước. Biết vậy và xét rằng bạn sẽ cần hướng tới một đối tượng hai hoặc đa chiều với một kiểu dữ liệu duy nhất, bạn nên chuẩn bị làm một số tiền xử lý trước khi bắt đầu xây dựng mạng nơ-ron!

Hiện tại, tên cột hữu ích cho mục đích khám phá, và chắc chắn giúp bạn hiểu dữ liệu, nên hãy thêm tên cột với hàm names(). Tiếp theo, bạn có thể dùng ngay biến iris trong quá trình khám phá dữ liệu! Hãy vẽ, chẳng hạn, mối tương quan giữa chiều dài cánh hoa và chiều rộng cánh hoa với hàm plot().

Lưu ý bạn dùng hàm unclass() để chuyển tên các loài, tức “setosa, versicolor” và “virginica”, thành số 1, 2 và 3.

Giờ hãy xem kỹ hơn kết quả của hàm vẽ biểu đồ:

Đồ thị cho thấy tương quan dương giữa Petal.Length và Petal.Width cho các loài hoa iris khác nhau. Tuy nhiên, có lẽ bạn muốn kiểm chứng điều này với hàm cor(), hàm sẽ cho bạn tương quan tổng thể giữa tất cả thuộc tính trong tập dữ liệu:

Thêm vào đó, bạn có thể dùng gói corrplot kết hợp với hàm cor() để vẽ tương quan giữa các thuộc tính của dữ liệu; Ở đây, bạn tính tương quan tổng thể cho tất cả thuộc tính của data frame iris. Bạn lưu kết quả tính này trong biến M và truyền nó vào hàm corrplot().

Đừng quên chỉ định đối số method để cho biết bạn muốn vẽ dữ liệu như thế nào!

Bạn có thể tiếp tục thử nghiệm phương pháp trực quan hóa trong khối DataCamp Light dưới đây:

Sử dụng console của R để khám phá dữ liệu sâu hơn.

Nếu bạn muốn vẽ biểu đồ cho dữ liệu này với gói ggvis, là ngữ pháp đồ họa tương tác, hãy xem hướng dẫn Machine Learning in R For Beginners của DataCamp hoặc học khóa ggvis của DataCamp.

Tiền xử lý dữ liệu

Trước khi xây dựng mô hình, bạn cũng cần đảm bảo dữ liệu được làm sạch, chuẩn hóa (nếu áp dụng) và chia thành tập huấn luyện và kiểm tra. Vì tập dữ liệu đến từ UCI Machine Learning Repository, bạn có thể kỳ vọng nó đã khá sạch, nhưng hãy kiểm tra lại chất lượng dữ liệu của bạn.

Thoạt nhìn, khi bạn kiểm tra dữ liệu với head(), bạn không thấy gì bất thường, đúng không? Hãy dùng summary() và str() để tóm tắt nhanh những gì bạn đã học khi kiểm tra việc nhập dữ liệu có thành công hay không:

Giờ bạn đã chắc chắn dữ liệu đủ sạch, bạn có thể bắt đầu kiểm tra liệu có cần chuẩn hóa dữ liệu dùng trong hướng dẫn này hay không.

x_train <- imdb$train$x
y_train <- imdb$train$y
x_test <- imdb$test$x
y_test <- imdb$test$y

Xây dựng mô hình

Để bắt đầu xây dựng mô hình, bạn nên khởi tạo một mô hình tuần tự với hàm keras_model_sequential(). Sau đó, bạn đã sẵn sàng để bắt đầu mô hình hóa.

Tuy nhiên, trước khi bắt đầu, tốt nhất hãy nhắc lại câu hỏi ban đầu về tập dữ liệu này: bạn có thể dự đoán loài của một bông hoa Iris cụ thể không? Làm việc với dữ liệu số sẽ dễ hơn, và bạn đã tiền xử lý dữ liệu cũng như one-hot encode các giá trị của biến đích: một bông hoa hoặc là versicolor, setosa hoặc virginica, và điều này được phản ánh bằng các giá trị nhị phân 1 và 0.

Một kiểu mạng hoạt động tốt với bài toán như vậy là multi-layer perceptron. Kiểu mạng nơ-ron này thường là fully connected. Điều đó có nghĩa là bạn sẽ xây một chồng tầng fully connected tương đối đơn giản để giải quyết bài toán này. Về hàm kích hoạt, tốt nhất hãy dùng một trong những hàm phổ biến nhất ở đây để làm quen với Keras và mạng nơ-ron, đó là hàm kích hoạt relu. Hàm kích hoạt dạng rectifier này được dùng ở tầng ẩn, vốn thường là thực hành tốt.

Ngoài ra, bạn cũng sẽ thấy hàm kích hoạt softmax được dùng ở tầng đầu ra. Bạn làm vậy vì muốn đảm bảo các giá trị đầu ra nằm trong khoảng từ 0 đến 1 và có thể dùng như xác suất dự đoán:

Lưu ý cách tầng đầu ra tạo ra 3 giá trị đầu ra, mỗi giá trị ứng với một lớp Iris (versicolor, virginica hoặc setosa). Tầng đầu tiên, chứa 8 nút ẩn, lại có input_shape là 4. Điều này là do dữ liệu huấn luyện iris.training của bạn có 4 cột.

Bạn có thể kiểm tra mô hình kỹ hơn với các hàm sau:

• Bạn có thể dùng hàm summary() để in ra bản tóm tắt mô hình;
• get_config() sẽ trả về một danh sách chứa cấu hình của mô hình;
• get_layer() sẽ trả về cấu hình của một tầng.
• Thuộc tính layers có thể dùng để lấy danh sách phẳng các tầng của mô hình;
• Để liệt kê các tensor đầu vào, bạn có thể dùng thuộc tính inputs; và
• Cuối cùng, để lấy các tensor đầu ra, bạn có thể dùng thuộc tính outputs.

Biên dịch và Fit mô hình

Bây giờ bạn đã thiết lập kiến trúc mô hình, đã đến lúc biên dịch và fit mô hình với dữ liệu. Để biên dịch mô hình, bạn cấu hình mô hình với bộ tối ưu hóa adam và hàm mất mát categorical_crossentropy. Ngoài ra, bạn cũng theo dõi accuracy trong quá trình huấn luyện bằng cách truyền 'accuracy' vào đối số metrics.

Bộ tối ưu hóa và hàm mất mát là hai đối số bắt buộc nếu bạn muốn biên dịch mô hình.

Một số thuật toán tối ưu hóa phổ biến nhất được dùng là Stochastic Gradient Descent (SGD), ADAM và RMSprop. Tùy thuật toán bạn chọn, bạn sẽ cần tinh chỉnh một số tham số như tốc độ học (learning rate) hoặc momentum. Việc chọn hàm mất mát phụ thuộc vào bài toán: ví dụ, với bài toán hồi quy, bạn thường dùng Mean Squared Error (MSE).

Như bạn thấy trong ví dụ này, bạn đã dùng hàm mất mát categorical_crossentropy cho bài toán phân loại đa lớp nhằm xác định bông iris thuộc loại versicolor, virginica hay setosa. Tuy nhiên, lưu ý rằng nếu là bài toán phân loại nhị phân, bạn nên dùng hàm mất mát binary_crossentropy.

Tiếp theo, bạn cũng có thể fit mô hình với dữ liệu; Ở đây, bạn huấn luyện mô hình trong 200 epoch hoặc số vòng lặp qua toàn bộ mẫu trong iris.training và iris.trainLabels, với kích thước batch là 5 mẫu.

Mẹo: nếu muốn, bạn cũng có thể chỉ định đối số verbose trong hàm fit(). Gán đối số này bằng 1 cho biết bạn muốn xem nhật ký dạng thanh tiến trình.

Với đoạn mã trên, bạn đang huấn luyện mô hình trong một số epoch nhất định, tức số lần quét qua toàn bộ tập huấn luyện. Một epoch là một lượt đi qua toàn bộ tập huấn luyện, sau đó kiểm tra trên tập xác thực. Kích thước batch mà bạn chỉ định trong mã trên xác định số mẫu sẽ được lan truyền qua mạng. Làm như vậy cũng giúp tối ưu hiệu năng vì bạn đảm bảo không nạp quá nhiều mẫu đầu vào vào bộ nhớ cùng lúc.

Trực quan hóa lịch sử huấn luyện mô hình

Bạn cũng có thể trực quan hóa quá trình fit nếu gán các dòng mã trong khối DataCamp Light ở trên cho một biến. Sau đó bạn có thể truyền biến này vào hàm plot(), như trong khối mã sau!

Hãy dành thời gian xem kỹ biểu đồ.

Nhìn qua thì không ngạc nhiên khi mọi thứ có vẻ hơi lộn xộn. Có thể bạn vẫn chưa rõ mình đang xem gì, đúng không?

Một điều hữu ích là loss và acc biểu thị lần lượt hàm mất mát và độ chính xác của mô hình trên dữ liệu huấn luyện, trong khi val_loss và val_acc là các chỉ số tương tự cho dữ liệu kiểm tra hoặc xác thực.

Dù vậy, việc diễn giải hai đồ thị này không hề dễ. Hãy thử chia nhỏ để dễ hiểu hơn! Bạn sẽ tách hai biểu đồ và vẽ riêng: một cho loss của mô hình và một cho accuracy. May mắn là bạn có thể dễ dàng dùng toán tử $ để truy cập dữ liệu và vẽ từng bước.

Xem khung DataCamp Light bên dưới để biết cách thực hiện:

Ở biểu đồ đầu tiên này, bạn đã vẽ loss của mô hình trên dữ liệu huấn luyện và kiểm tra. Giờ hãy làm tương tự cho accuracy của mô hình:

Một vài điều cần lưu ý:

• Nếu độ chính xác trên dữ liệu huấn luyện tiếp tục tăng trong khi độ chính xác trên dữ liệu xác thực giảm, rất có thể bạn đang overfitting: mô hình bắt đầu ghi nhớ dữ liệu thay vì học từ đó.
• Nếu xu hướng độ chính xác trên cả hai tập vẫn tăng trong vài epoch cuối, bạn có thể thấy rõ mô hình vẫn chưa học quá mức tập huấn luyện.

Dự đoán nhãn cho dữ liệu mới

Khi mô hình đã được tạo, biên dịch và fit với dữ liệu, đã đến lúc dùng mô hình để dự đoán nhãn cho tập kiểm tra iris.test. Đúng như mong đợi, bạn có thể dùng hàm predict() để làm việc này. Sau đó, bạn có thể in ma trận nhầm lẫn để xem các dự đoán và nhãn thực của dữ liệu iris.test bằng hàm table().

Bạn thấy kết quả thế nào? Nhìn qua, mô hình bạn tạo có dự đoán đúng không?

Đánh giá mô hình

Mặc dù bạn đã có ấn tượng ban đầu về hiệu năng mô hình qua các nhãn dự đoán cho iris.test, bạn vẫn cần dành thời gian đánh giá mô hình. Hãy dùng hàm evaluate(): truyền vào dữ liệu kiểm tra iris.test, nhãn kiểm tra iris.testLabels và xác định kích thước batch. Lưu kết quả vào biến score, như ví dụ dưới đây:

Khi in score, bạn sẽ nhận lại giá trị loss và giá trị metric (trong trường hợp này là 'accuracy').

Tinh chỉnh mô hình

Tinh chỉnh mô hình là việc bạn sẽ làm khá thường xuyên, nhất là lúc đầu, vì không phải mọi bài toán phân loại và hồi quy đều đơn giản như ví dụ ở phần đầu hướng dẫn. Như đã nêu ở trên, có hai quyết định quan trọng bạn có thể muốn điều chỉnh: số lượng tầng sẽ dùng và số “đơn vị ẩn” bạn chọn cho mỗi tầng.

Ban đầu, đây thực sự sẽ là một hành trình.

Bên cạnh việc thử thay đổi số epoch hoặc kích thước batch, có những cách khác để tinh chỉnh mô hình với kỳ vọng hiệu năng tốt hơn: thêm tầng, tăng số đơn vị ẩn và truyền các tham số tối ưu hóa riêng của bạn vào hàm compile(). Phần này sẽ điểm qua ba lựa chọn đó.

Lưu, tải hoặc xuất mô hình của bạn

Còn một điều cuối cùng trong hành trình của bạn với gói keras, đó là lưu hoặc xuất mô hình để bạn có thể tải lại vào một thời điểm khác.

• Trước hết, bạn có thể dễ dàng sử dụng các hàm save_model_hdf5() và load_model_hdf5() để lưu và tải mô hình vào không gian làm việc của bạn:

save_model_hdf5(model, "my_model.h5")
model <- load_model_hdf5("my_model.h5")

• Bên cạnh đó, bạn cũng có thể lưu và tải trọng số mô hình với các hàm save_model_weights_hdf5() và load_model_weights_hdf5() :

save_model_weights_hdf5("my_model_weights.h5")
model %>% load_model_weights_hdf5("my_model_weights.h5")

• Cuối cùng, sẽ hữu ích khi biết rằng bạn cũng có thể xuất cấu hình mô hình sang JSON hoặc YAML. Ở đây, các hàm model_to_json() và model_to_yaml() sẽ giúp bạn. Để tải cấu hình trở lại không gian làm việc, bạn chỉ cần dùng các hàm model_from_json() và model_from yaml():

json_string <- model_to_json(model)
model <- model_from_json(json_string)

yaml_string <- model_to_yaml(model)
model <- model_from_yaml(yaml_string)