Giới thiệu về Mạng Nơ-ron Sâu (Deep Neural Networks)

Mạng nơ-ron sâu đã thay đổi cục diện của trí tuệ nhân tạo trong thời đại ngày nay. Gần đây, có nhiều bước tiến nghiên cứu trong cả học sâu và mạng nơ-ron, giúp nâng cao đáng kể chất lượng của các dự án liên quan đến trí tuệ nhân tạo.

Những mạng nơ-ron sâu này giúp nhà phát triển đạt được kết quả bền vững và chất lượng cao hơn. Do đó, chúng thậm chí đang thay thế một số kỹ thuật học máy truyền thống.

Vậy mạng nơ-ron sâu thực chất là gì, vì sao chúng là lựa chọn tối ưu cho nhiều tác vụ đa dạng? Và có những thư viện, công cụ nào để bắt đầu với mạng nơ-ron sâu?

Bài viết này sẽ giải thích mạng nơ-ron sâu, các yêu cầu về thư viện, và cách xây dựng một kiến trúc mạng nơ-ron sâu cơ bản từ con số không.

Mạng Nơ-ron Sâu là gì?

Mạng nơ-ron nhân tạo (ANN) hay mạng nơ-ron truyền thống đơn giản nhằm giải quyết các tác vụ đơn giản với một phác thảo mạng thẳng thắn. Mạng nơ-ron nhân tạo được lấy cảm hứng lỏng lẻo từ mạng nơ-ron sinh học. Nó là một tập hợp các tầng để thực hiện một nhiệm vụ cụ thể. Mỗi tầng gồm một tập hợp các nút hoạt động cùng nhau.

Những mạng này thường gồm một tầng đầu vào, một đến hai tầng ẩn, và một tầng đầu ra. Dù có thể giải các bài toán toán học đơn giản và các vấn đề máy tính như cấu trúc cổng logic cơ bản với bảng chân trị tương ứng, các mạng này gặp khó khăn khi xử lý các tác vụ phức tạp về xử lý ảnh, thị giác máy tính và xử lý ngôn ngữ tự nhiên.

Với các vấn đề đó, chúng ta sử dụng mạng nơ-ron sâu, thường có cấu trúc tầng ẩn phức tạp với nhiều loại tầng khác nhau như tầng tích chập (convolutional), tầng gộp cực đại (max-pooling), tầng dày đặc (dense) và các tầng chuyên biệt khác. Những tầng bổ sung này giúp mô hình hiểu vấn đề tốt hơn và đưa ra lời giải tối ưu cho các dự án phức tạp. Mạng nơ-ron sâu có nhiều tầng hơn (độ sâu lớn hơn) so với ANN và mỗi tầng tăng thêm độ phức tạp cho mô hình, đồng thời cho phép mô hình xử lý đầu vào một cách cô đọng để xuất ra lời giải lý tưởng.

ANN vs DNN - Nguồn hình ảnh

Mạng nơ-ron sâu đã thu hút sự quan tâm rất lớn nhờ hiệu quả cao trong việc thực hiện nhiều loại dự án học sâu. Khám phá sự khác biệt giữa học máy và học sâu trong một bài viết riêng.

Vì sao dùng DNN?

Sau khi huấn luyện một mạng nơ-ron sâu được xây dựng tốt, chúng có thể đạt kết quả mong muốn với độ chính xác cao. Chúng phổ biến trong mọi khía cạnh của học sâu, gồm thị giác máy tính, xử lý ngôn ngữ tự nhiên và học chuyển giao.

Những ví dụ tiêu biểu cho tầm quan trọng của mạng nơ-ron sâu là ứng dụng của chúng trong phát hiện vật thể với các mô hình như YOLO (You Only Look Once), các tác vụ dịch ngôn ngữ với các mô hình BERT (Bidirectional Encoder Representations from Transformers), các mô hình học chuyển giao như VGG-19, RESNET-50, EfficientNet và các mạng tương tự khác cho các dự án xử lý ảnh.

Để hiểu trực quan hơn các khái niệm học sâu trong trí tuệ nhân tạo, tôi khuyến nghị bạn tìm hiểu khóa học Deep Learning in Python của DataCamp.

Công cụ và Thư viện cho Học Sâu

Xây dựng mạng nơ-ron từ đầu giúp lập trình viên hiểu các khái niệm và giải quyết các tác vụ đơn giản bằng cách thao tác các mạng này. Tuy nhiên, xây dựng từ đầu tốn thời gian và công sức lớn. Để đơn giản hóa học sâu, chúng ta có nhiều công cụ và thư viện để xây dựng một mô hình mạng nơ-ron sâu hiệu quả, có khả năng giải quyết các vấn đề phức tạp chỉ với vài dòng mã.

Những thư viện và công cụ học sâu phổ biến nhất để xây dựng mạng nơ-ron sâu là TensorFlow, Keras và PyTorch. Thư viện Keras và TensorFlow đã gắn bó chặt chẽ kể từ TensorFlow 2.0. Sự tích hợp này cho phép người dùng phát triển các mạng nơ-ron phức tạp với cấu trúc mã cấp cao dùng Keras trong hệ sinh thái TensorFlow.

PyTorch

Thư viện PyTorch là một khuôn khổ học máy cực kỳ phổ biến khác, cho phép người dùng phát triển các dự án nghiên cứu cao cấp.

Dù hơi thiếu ở khía cạnh trực quan hóa, PyTorch bù lại bằng hiệu năng gọn nhẹ và nhanh, với cài đặt GPU tương đối nhanh và đơn giản để xây dựng các mô hình mạng nơ-ron sâu.

Khóa học Introduction to Deep Learning with PyTorch của DataCamp là điểm khởi đầu tốt nhất để tìm hiểu thêm về PyTorch.

TensorFlow và Keras

Khuôn khổ TensorFlow cung cấp cho nhà phát triển nhiều tùy chọn tuyệt vời về công cụ trực quan hóa cho các tác vụ học sâu. Bảng điều khiển đồ họa tensorboard là lựa chọn nổi bật để trực quan hóa, phân tích và diễn giải dữ liệu, kết quả của một dự án.

Sự tích hợp thư viện Keras cho phép xây dựng dự án nhanh hơn với cấu trúc mã đơn giản, khiến nó trở thành lựa chọn phổ biến cho các dự án phát triển dài hạn. Khóa Introduction to TensorFlow in Python là điểm khởi đầu tuyệt vời cho người mới làm quen với TensorFlow.

Cách Xây dựng một Mạng Nơ-ron Sâu Cơ bản

Trong phần này, chúng ta sẽ nắm một số khái niệm nền tảng của mạng nơ-ron sâu và cách xây dựng một mạng như vậy từ đầu.

Nhập các thư viện cần thiết

Bước đầu tiên là chọn thư viện ưa thích cho ứng dụng của bạn. Chúng ta sẽ dùng các khuôn khổ học sâu TensorFlow và Keras để xây dựng mạng nơ-ron sâu.

# Importing the necessary functionality
import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Input, Dense, Conv2D
from tensorflow.keras.layers import Flatten, MaxPooling2D

Tạo mô hình kiểu tuần tự (sequential)

Sau khi nhập xong các thư viện cần thiết cho tác vụ này, chúng ta sẽ dùng mô hình kiểu Sequential để xây dựng mô hình học sâu. Mô hình sequential là một chồng tầng đơn giản với một đầu vào và một đầu ra. Các lựa chọn khác là API functional hoặc xây dựng mô hình tùy chỉnh. Tuy nhiên, lớp Sequential cung cấp cách tiếp cận thẳng thắn để dựng kiến trúc mạng nơ-ron.

# Creating the model
DNN_Model = Sequential()

Xây dựng kiến trúc Mạng Nơ-ron Sâu
Chúng ta sẽ thêm kích thước đầu vào, thường tương đương kích thước loại ảnh bạn dùng trong dự án. Kích thước gồm độ rộng, chiều cao và mã hóa màu của ảnh. Trong ví dụ dưới đây, chiều cao và chiều rộng của ảnh là 256 với hệ màu RGB, biểu diễn bởi 3 (1 dùng cho ảnh thang xám). Sau đó, chúng ta sẽ dựng các tầng ẩn cần thiết với các tầng tích chập và gộp cực đại với kích thước bộ lọc khác nhau. Cuối cùng, chúng ta dùng một tầng làm phẳng để làm phẳng đầu ra và dùng một tầng dày đặc làm tầng đầu ra cuối cùng.
Các tầng ẩn làm tăng độ phức tạp của mạng nơ-ron. Tầng tích chập thực hiện phép tích chập trên ảnh để lọc thông tin. Mỗi kích thước bộ lọc trong tầng tích chập giúp trích xuất các đặc trưng cụ thể từ đầu vào. Tầng gộp cực đại giúp lấy mẫu xuống (giảm) số lượng đặc trưng bằng cách xét các giá trị lớn nhất từ các đặc trưng trích xuất.
Tầng làm phẳng giảm các chiều không gian về một chiều duy nhất để tính toán nhanh hơn. Tầng dày đặc là tầng đơn giản nhất nhận đầu ra từ các tầng trước và thường dùng làm tầng đầu ra. Tích chập 2D thực hiện phép nhân theo phần tử trên đầu vào 2D. Hàm kích hoạt ReLU (rectified linear unit) mang lại tính phi tuyến cho mô hình để tính toán hiệu quả hơn. Chúng ta sẽ dùng padding "same" để giữ nguyên hình dạng đầu vào và đầu ra của các tầng tích chập.
# Inputting the shape to the model
DNN_Model.add(Input(shape = (256, 256, 3)))

# Creating the deep neural network
DNN_Model.add(Conv2D(256, (3, 3), activation='relu', padding = "same"))
DNN_Model.add(MaxPooling2D(2, 2))
DNN_Model.add(Conv2D(128, (3, 3), activation='relu', padding = "same"))
DNN_Model.add(MaxPooling2D(2, 2))
DNN_Model.add(Conv2D(64, (3, 3), activation='relu', padding = "same"))
DNN_Model.add(MaxPooling2D(2, 2))

# Creating the output layers
DNN_Model.add(Flatten())
DNN_Model.add(Dense(64, activation='relu'))
DNN_Model.add(Dense(10))
Kiến trúc mô hình
Cấu trúc mô hình và sơ đồ của mạng nơ-ron sâu đã xây dựng được cung cấp dưới đây.
Model: "sequential_2"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 conv2d_5 (Conv2D)           (None, 256, 256, 256)     7168      
                                                                 
 max_pooling2d_5 (MaxPooling  (None, 128, 128, 256)    0         
 2D)                                                             
                                                                 
 conv2d_6 (Conv2D)           (None, 128, 128, 128)     295040    
                                                                 
 max_pooling2d_6 (MaxPooling  (None, 64, 64, 128)      0         
 2D)                                                             
                                                                 
 conv2d_7 (Conv2D)           (None, 64, 64, 64)        73792     
                                                                 
 max_pooling2d_7 (MaxPooling  (None, 32, 32, 64)       0         
 2D)                                                             
                                                                 
 flatten_2 (Flatten)         (None, 65536)             0         
                                                                 
 dense_4 (Dense)             (None, 64)                4194368   
                                                                 
 dense_5 (Dense)             (None, 10)                650       
                                                                 
=================================================================
Total params: 4,571,018
Trainable params: 4,571,018
Non-trainable params: 0
_________________________________________________________________
Sơ đồ như sau:
tf.keras.utils.plot_model(DNN_Model, to_file='model_big.png', show_shapes=True)

Thông tin bổ sung

Quy trình làm việc Machine Learning - Nguồn hình ảnh
Sau khi xây dựng mô hình, cần biên dịch để cấu hình mô hình. Trong quá trình biên dịch, các phép toán quan trọng trong mô hình học sâu gồm lan truyền xuôi và lan truyền ngược. Ở lan truyền xuôi, toàn bộ thông tin thiết yếu được truyền qua các nút khác nhau cho đến tầng đầu ra. Ở tầng đầu ra, với các tác vụ phân loại, các giá trị dự đoán và giá trị thật được tính toán tương ứng.
Trong giai đoạn huấn luyện hoặc fitting, diễn ra quá trình lan truyền ngược. Trọng số được điều chỉnh lại ở mỗi tầng bằng cách hiệu chỉnh cho đến khi giá trị dự đoán và giá trị thật xấp xỉ nhau để đạt kết quả mong muốn. Để có giải thích chuyên sâu về chủ đề này, tôi khuyến nghị xem hướng dẫn backpropagation trong khóa Introduction to Deep Learning in Python.
Có rất nhiều khía cạnh tinh vi khi khám phá học sâu. Tôi rất khuyến nghị xem khóa học Deep Learning with Keras để hiểu rõ hơn cách xây dựng mạng nơ-ron sâu.
Tìm hiểu về Các Mô hình Học Sâu
Để tính toán bất kỳ tác vụ học máy cụ thể nào, cần một mạng nơ-ron sâu tương ứng để thực hiện các thao tác cần thiết. Hai mô hình học sâu được sử dụng chủ yếu là mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN). Mạng nơ-ron tích chập có tính ứng dụng lớn trong xử lý ảnh và các dự án thị giác máy tính.
Trong các mạng nơ-ron sâu này, thay vì thực hiện phép toán ma trận điển hình ở các tầng ẩn, chúng ta thực hiện phép tích chập. Nó cho phép mạng có cách tiếp cận linh hoạt hơn, tạo ra hiệu quả và độ chính xác cao hơn. Ở các tác vụ phân loại ảnh và phát hiện vật thể, có rất nhiều dữ liệu và hình ảnh để mô hình xử lý. Các mạng nơ-ron tích chập giúp giải quyết hiệu quả những vấn đề này.
Với các dự án xử lý ngôn ngữ tự nhiên và ngữ nghĩa, mạng nơ-ron hồi quy thường được dùng để tối ưu hóa kết quả. Một biến thể phổ biến của RNN, bộ nhớ dài-ngắn hạn (LSTM), thường được dùng cho các tác vụ dịch máy, phân loại văn bản, nhận dạng giọng nói và các tác vụ tương tự.
Các mạng này mang theo thông tin thiết yếu từ mỗi ô trước và truyền sang ô tiếp theo, đồng thời lưu trữ thông tin quan trọng để tối ưu hiệu năng mô hình. Khóa Image Modeling with Keras là tài liệu tuyệt vời để khám phá thêm về CNN và Deep Learning in Python để hiểu sâu toàn diện về học sâu.
Thách thức và Cân nhắc trong Mạng Nơ-ron Sâu
Chúng ta đã có cái nhìn khái quát về mạng nơ-ron sâu và cách xây dựng chúng với khuôn khổ học sâu TensorFlow. Tuy nhiên, có một số thách thức mà mỗi nhà phát triển phải cân nhắc trước khi phát triển mạng nơ-ron cho một dự án cụ thể. Hãy cùng xem một vài thách thức này.
Yêu cầu dữ liệu
Một trong những yêu cầu chủ chốt của học sâu là dữ liệu. Dữ liệu là thành phần quan trọng nhất để xây dựng một mô hình có độ chính xác cao. Trong nhiều trường hợp, mạng nơ-ron sâu thường cần lượng dữ liệu lớn để tránh overfitting và đạt hiệu năng tốt. Với tác vụ phát hiện vật thể, yêu cầu dữ liệu có thể lớn hơn để mô hình nhận diện nhiều đối tượng với độ chính xác cao.
Dù các kỹ thuật tăng cường dữ liệu hữu ích như một giải pháp nhanh cho một số vấn đề, yêu cầu về dữ liệu vẫn là điều bắt buộc cần cân nhắc cho mọi dự án học sâu.
Tài nguyên tính toán
Bên cạnh lượng dữ liệu lớn, cần xem xét chi phí tính toán cao khi huấn luyện mạng nơ-ron sâu. Ví dụ, mô hình Generative Pre-trained Transformer 3 (GPT-3) có 175 tỷ tham số.
Quá trình biên dịch và huấn luyện các mô hình cho tác vụ phức tạp sẽ cần một GPU mạnh. Mô hình thường được huấn luyện hiệu quả hơn trên GPU hoặc TPU thay vì CPU. Với các tác vụ cực kỳ phức tạp, yêu cầu hệ thống tăng cao, đòi hỏi nhiều tài nguyên hơn cho tác vụ cụ thể.
Vấn đề trong huấn luyện
Trong quá trình huấn luyện, mô hình cũng có thể gặp các vấn đề như underfitting hoặc overfitting. Underfitting thường xảy ra do thiếu dữ liệu, trong khi overfitting là vấn đề nổi bật hơn do độ chính xác trên dữ liệu huấn luyện liên tục tăng trong khi dữ liệu kiểm thử giữ nguyên. Do đó, độ chính xác khi huấn luyện cao nhưng độ chính xác khi xác thực thấp, dẫn đến mô hình rất thiếu ổn định và không cho kết quả tốt nhất.
Kết luận
Trong bài viết này, chúng ta đã khám phá mạng nơ-ron sâu và nắm các khái niệm cốt lõi của chúng. Chúng ta đã hiểu sự khác biệt giữa những mạng này và mạng truyền thống, và tìm hiểu các loại khuôn khổ học sâu khác nhau để thực hiện các dự án học sâu. Sau đó, chúng ta dùng thư viện TensorFlow và Keras để minh họa việc xây dựng một mạng nơ-ron sâu. Cuối cùng, chúng ta cân nhắc một số thách thức quan trọng của học sâu và vài phương pháp để vượt qua.
Mạng nơ-ron sâu là nguồn lực tuyệt vời để hiện thực hóa hầu hết các ứng dụng và dự án trí tuệ nhân tạo phổ biến. Chúng cho phép chúng ta giải quyết các tác vụ xử lý ảnh và xử lý ngôn ngữ tự nhiên với độ chính xác cao.
Điều quan trọng là tất cả các nhà phát triển giỏi cần cập nhật xu hướng mới, vì một mô hình phổ biến hôm nay có thể không còn phổ biến hoặc không còn là lựa chọn tốt nhất trong tương lai gần.
Vì vậy, điều cốt yếu là liên tục học hỏi và tích lũy kiến thức, bởi thế giới trí tuệ nhân tạo là một hành trình đầy hào hứng và những phát triển công nghệ mới. Một trong những cách tốt nhất để cập nhật là xem lộ trình kỹ năng Deep Learning in Python của DataCamp để bao quát các chủ đề gồm TensorFlow và Keras, và khóa Deep Learning with PyTorch để tìm hiểu thêm về PyTorch. Bạn cũng có thể xem các khóa AI Fundamentals để có phần giới thiệu nhẹ nhàng hơn. Lộ trình đầu giúp khai phóng tiềm năng to lớn của các dự án học sâu, còn lộ trình sau giúp củng cố nền tảng.