Hướng dẫn Scipy: Vectơ và Mảng (Đại số tuyến tính)

The Essentials of NumPy ndarray Objects

Về mặt cấu trúc, một mảng chẳng qua là các con trỏ. Đó là sự kết hợp của địa chỉ bộ nhớ, kiểu dữ liệu, hình dạng và bước nhảy (strides). Nó chứa thông tin về dữ liệu thô, cách định vị một phần tử và cách diễn giải phần tử đó.

Địa chỉ bộ nhớ và bước nhảy quan trọng khi bạn đi sâu vào chi tiết mức thấp của mảng, trong khi kiểu dữ liệu và hình dạng là những thứ người mới nên biết và hiểu. Hai thuộc tính khác bạn có thể quan tâm là data và size, giúp bạn thu thập thêm thông tin về mảng.

Ôn lại cách dùng các thuộc tính của ndarray trong khối DataCamp Light sau. Mảng myArray đã được nạp sẵn. Bạn có thể kiểm tra bằng cách gõ nó trong IPython shell và nhấn ENTER.

Bạn sẽ thấy trong kết quả của đoạn mã trên rằng kiểu dữ liệu của myArray là int64. Khi làm việc nhiều với mảng, bạn chắc chắn sẽ nhớ rằng có cách để chuyển kiểu dữ liệu mảng bằng phương thức astype().

Tuy nhiên, khi dùng SciPy và NumPy cùng nhau, bạn cũng sẽ thấy các hàm xử lý kiểu dữ liệu sau của NumPy rất hữu ích, đặc biệt khi làm với số phức:

Hãy thử thêm các lệnh print() để xem kết quả mã ở trên. Khi đó bạn sẽ thấy số phức có phần thực và phần ảo. Các hàm np.real() và np.imag() lần lượt trả về các phần này.

Ngoài ra, bạn cũng có thể dùng np.cast để ép kiểu một đối tượng mảng sang kiểu dữ liệu khác, như float trong ví dụ trên.

Điểm duy nhất hơi khó ở đoạn mã trên là hàm np.real_if_close(). Khi bạn đưa vào đầu vào phức, như myArray, bạn sẽ nhận về một mảng thực nếu phần phức gần bằng 0. Phần “gần bằng 0” này có thể tự điều chỉnh bằng tham số tol bạn truyền vào hàm. Hãy thử thay đổi ngưỡng để xem điều gì xảy ra!

Array Creation

Bạn vừa thấy cách kiểm tra mảng và điều chỉnh kiểu dữ liệu, nhưng chưa thấy rõ cách tạo mảng. Bạn hẳn đã biết có thể dùng np.array() để làm việc này, nhưng còn có các thủ tục tạo mảng khác bạn nên biết: np.eye() và np.identity().

Hàm np.eye() cho phép bạn tạo ma trận vuông với kích thước bằng số nguyên dương bạn đưa làm đối số. Các phần tử thường được điền bằng 0, chỉ đường chéo ma trận được điền 1. Hàm np.identity() hoạt động tương tự và cũng trả về một mảng đơn vị.

Tuy nhiên, lưu ý rằng np.eye() có thể nhận đối số bổ sung k để bạn chỉ định chỉ số của đường chéo muốn điền 1.

Các hàm tạo mảng khác chắc chắn hữu ích khi làm việc với ma trận trong đại số tuyến tính gồm:

• Hàm np.arange() tạo mảng với các giá trị cách đều giữa hai số. Bạn có thể chỉ định bước giữa các phần tử,
• Điều này cũng đúng với np.linspace(), nhưng với hàm này bạn chỉ định số phần tử bạn muốn trong mảng.
• Cuối cùng, hàm np.logspace() cũng tạo mảng với các giá trị cách đều, nhưng theo thang đo logarit. Nghĩa là khoảng cách giờ là logarit: hai số cách đều giữa logarit cơ số 10 của chúng.

Các hàm này tạo ra mảng dạng lưới, có thể dùng để tạo lưới ô (mesh grid), về điều này bạn đã đọc trước đó trong bài.

Lưu ý rằng numpy đã được import là np trong khối mã dưới đây!

Giờ khi đã ôn lại cách xử lý kiểu dữ liệu mảng, đã đến lúc bàn về đánh chỉ số và cắt (slicing).

Install SciPy

Tất nhiên bạn cần đảm bảo trước hết đã cài Python. Truy cập trang này nếu bạn vẫn cần làm điều đó :) Nếu bạn dùng Windows, hãy đảm bảo đã thêm Python vào biến môi trường PATH environment variable. Ngoài ra, đừng quên cài một trình quản lý gói, như pip, để đảm bảo bạn có thể dùng các thư viện mã nguồn mở của Python.

Lưu ý các phiên bản gần đây của Python 3 đi kèm pip, nên hãy kiểm tra xem bạn đã có chưa và nếu có, hãy nâng cấp trước khi cài các gói khác:

 pip install pip --upgrade pip --version

Nhưng chỉ cài trình quản lý gói là chưa đủ; Bạn cũng cần tải về wheel cho thư viện: vào đây để lấy wheel SciPy. Sau khi tải, mở terminal tại thư mục tải về trên máy và cài nó. Ngoài ra, bạn có thể kiểm tra cài đặt có thành công và xác nhận phiên bản gói bạn đang dùng:

# Install the wheel install "scipy‑0.18.1‑cp36‑cp36m‑win_amd64.whl"# Confirm successful installimport scipy# Check package versionscipy.__version__

Sau các bước này, bạn đã sẵn sàng “goy”!

Mẹo: cài gói bằng cách tải bản phân phối Anaconda Python. Đây là cách dễ để bắt đầu nhanh, vì Anaconda không chỉ bao gồm 100 gói Python, R và Scala phổ biến cho khoa học dữ liệu, mà còn đi kèm nhiều môi trường phát triển mở như Jupyter và Spyder. Nếu bạn muốn bắt đầu với Jupyter Notebook, xem hướng dẫn Jupyter notebook này.

Nếu bạn chưa tải, vào đây để lấy.

Vectors and Matrices: The Basics

Giờ khi bạn đã chuẩn bị xong môi trường làm việc, bạn có thể bắt đầu với đại số tuyến tính trong Python. Về bản chất, lĩnh vực này nghiên cứu không gian vectơ và các ánh xạ tuyến tính tồn tại giữa chúng. Các ánh xạ tuyến tính có thể mô tả bằng ma trận, qua đó việc tính toán cũng dễ hơn.

Nhớ rằng không gian vectơ là khái niệm nền tảng trong đại số tuyến tính. Đó là một không gian nơi bạn có tập hợp đối tượng (vectơ) và nơi bạn có thể cộng hoặc nhân (tỷ lệ) hai vectơ mà vectơ kết quả vẫn nằm trong không gian. Cũng nhớ rằng vectơ là các hàng (hoặc cột) của một ma trận.

Vậy điều này hoạt động thế nào trong Python?

Bạn có thể dễ dàng tạo một vectơ với hàm np.array(). Tương tự, bạn có thể gán cấu trúc ma trận cho mọi ndarray một hoặc hai chiều với lệnh np.matrix() hoặc np.mat().

Thử trong khối mã sau:

Vậy mảng và ma trận giống nhau, ngoài phần định dạng?

Không hẳn. Có vài khác biệt:

• Ma trận là 2-D, trong khi mảng thường là n-D,
• Như các hàm trên ngụ ý, ma trận là một lớp con của ndarray,
• Cả mảng và ma trận đều có .T(), nhưng chỉ ma trận có .H() và .I(),
• Nhân ma trận khác với nhân phần tử của mảng, và
• Thêm nữa, phép ** có kết quả khác nhau với ma trận và mảng

Khi làm việc với ma trận, đôi khi bạn có các ma trận trong đó hầu hết phần tử là 0. Những ma trận này gọi là “ma trận thưa” (sparse), trong khi những ma trận có đa số phần tử khác 0 gọi là “ma trận đặc” (dense).

Bản thân điều này có vẻ tầm thường, nhưng khi làm với SciPy cho đại số tuyến tính, đôi khi nó ảnh hưởng đến các mô-đun bạn dùng để hoàn thành công việc. Cụ thể, bạn có thể dùng scipy.linalg cho ma trận đặc, nhưng khi làm với ma trận thưa, bạn cũng nên xem mô-đun scipy.sparse, vốn cũng có scipy.sparse.linalg riêng.

Với ma trận thưa, có khá nhiều lựa chọn để tạo chúng. Khối mã dưới đây liệt kê một số:

Ngoài ra, còn có một số hàm khác để tạo ma trận thưa: ma trận Hàng Thưa Khối với bsr_matrix(), ma trận thưa định dạng Tọa độ với coo_matrix(), ma trận thưa lưu trữ Đường chéo với dia_matrix(), và ma trận thưa danh sách liên kết theo hàng với lil_matrix().

Có rất nhiều lựa chọn, nhưng chọn cái nào khi bạn tự tạo ma trận thưa?

Không khó đâu.

Cơ bản là đầu tiên bạn khởi tạo như thế nào. Tiếp theo, cân nhắc bạn muốn làm gì với ma trận thưa.

Cụ thể, bạn có thể đi qua danh sách kiểm tra sau để quyết định loại ma trận thưa cần dùng:

• Nếu bạn định điền ma trận theo từng số một, chọn coo_matrix() hoặc dok_matrix() để tạo ma trận.
• Nếu bạn muốn khởi tạo ma trận với một mảng làm đường chéo, chọn dia_matrix().
• Với ma trận dựa trên lát cắt, dùng lil_matrix().
• Nếu bạn dựng ma trận từ các khối ma trận nhỏ hơn, cân nhắc dùng bsr_matrix().
• Nếu bạn muốn truy cập hàng và cột nhanh, hãy chuyển đổi ma trận bằng csr_matrix() và csc_matrix(), tương ứng. Hai hàm sau không phù hợp khi khởi tạo ma trận, nhưng khi nhân, bạn sẽ thấy khác biệt về tốc độ.

Dễ như ăn kẹo!

Eigenvalues and Eigenvectors

Chủ đề đầu tiên bạn sẽ xử lý là trị riêng và vectơ riêng.

Trị riêng là một cách mới để nhìn vào “trái tim” của ma trận. Nhưng trước khi đi sâu, hãy giải thích vectơ riêng là gì. Hầu hết các vectơ sẽ đổi hướng khi nhân với một ma trận. Tuy nhiên, có những vectơ đặc biệt mà kết quả nhân vẫn cùng hướng với vectơ ban đầu. Đó là các vectơ riêng.

Nói cách khác, nhân một vectơ riêng với ma trận, vectơ kết quả bằng vectơ riêng gốc nhân với \(\lambda\), trị riêng: \[Ax = \lambda x. \]

Điều này có nghĩa trị riêng cung cấp thông tin rất giá trị: nó cho bạn biết một vectơ riêng sẽ bị kéo giãn, co lại, đảo chiều hay giữ nguyên — khi nhân với một ma trận.

Bạn dùng hàm eig() từ mô-đun SciPy linalg để giải các bài toán trị riêng thường hoặc tổng quát cho ma trận vuông.

Lưu ý hàm eigvals() là cách khác để lấy các trị riêng của ma trận.

Khi làm việc với ma trận thưa, bạn có thể dựa vào mô-đun scipy.sparse để có các hàm phù hợp tìm trị riêng và vectơ riêng:

la, v = sparse.linalg.eigs(myMatrix,1)

Lưu ý đoạn mã trên chỉ định số lượng trị riêng và vectơ riêng cần lấy, cụ thể là 1.

Trị riêng và vectơ riêng là khái niệm quan trọng trong nhiều kỹ thuật thị giác máy tính và machine learning, như Phân tích Thành phần Chính (PCA) cho giảm chiều và EigenFaces cho nhận diện khuôn mặt.

Singular Value Decomposition (SVD)

Tiếp theo, bạn cần biết về SVD nếu muốn thực sự học khoa học dữ liệu. Phân rã giá trị riêng suy biến (SVD) của ma trận \(A\) là việc phân rã hay phân tích \(A\) thành tích của ba ma trận: \(A = U * \Sigma * V^t\).

Kích thước các ma trận riêng lẻ như sau nếu biết ma trận \(A\) có kích thước \(M\) x \(N\):

• Ma trận \(U\) có kích thước \(M\) x \(M\)
• Ma trận \(V\) có kích thước \(N\) x \(N\)
• Ma trận \(\Sigma\) có kích thước \(M\) x \(N\)

Ký hiệu \(*\) chỉ phép nhân ma trận và \(^t\) trong \(V^t\) nghĩa là chuyển vị, tức hoán đổi hàng và cột.

Nói đơn giản, SVD cung cấp cách “bẻ” một ma trận thành các phần nhỏ hơn có ý nghĩa. Những phần này có thể chứa dữ liệu ta quan tâm.

Lưu ý với ma trận thưa, bạn có thể dùng hàm sparse.linalg.svds() để phân rã.

Nếu bạn mới với khoa học dữ liệu, phân rã ma trận có thể khá mơ hồ: bạn có thể chưa thấy ngay các trường hợp áp dụng. Nhưng SVD hữu ích trong nhiều tác vụ như nén dữ liệu, khử nhiễu và phân tích dữ liệu. Sau đây, bạn sẽ thấy cách dùng SVD để nén ảnh:

# Import the necessary packagesimport numpy as npfrom scipy import linalgfrom skimage import dataimport matplotlib.pyplot as plt# Get an image from `skimage`img= data.camera()# Check number of singular valueslinalg.svdvals(img)# Singular Value DecompositionU, s, Vh = linalg.svd(img)# Use only 32 singular valuesA = np.dot(U[:,0:32],           np.dot(np.diag(s[0:32]), Vh[0:32,:]))fig = plt.figure(figsize=(8, 3))# Add a subplot to the figureax = fig.add_subplot(121)# Plot `img` on grayscaleax.imshow(img, cmap='gray')# Add a second subplot to the figureax2 = fig.add_subplot(122)# Plot `A` in the second subplotax2.imshow(A)# Add a titlefig.suptitle('Image Compression with SVD', fontsize=14, fontweight='bold')# Show the plotplt.show()

Đoạn này sẽ cho kết quả sau:

Cũng xem các ví dụ sau nơi SVD được dùng:

• SVD liên hệ chặt với Phân tích Thành phần Chính (PCA), dùng để giảm chiều: cả hai cho ra một tập “trục mới” được xây dựng từ tổ hợp tuyến tính các trục không gian đặc trưng của dữ liệu. Các “trục mới” này phân rã phương sai của các điểm dữ liệu dựa trên mức đóng góp của mỗi hướng vào phương sai. Để xem ví dụ cụ thể PCA hoạt động thế nào, hãy xem Hướng dẫn Scikit-Learn của chúng tôi.
• Một liên hệ khác là với khai phá dữ liệu và xử lý ngôn ngữ tự nhiên (NLP): Lập chỉ mục ngữ nghĩa ẩn (LSI). Đây là kỹ thuật dùng trong truy xuất tài liệu và độ tương đồng từ. LSI dùng SVD để nhóm các tài liệu theo các khái niệm có thể gồm những từ khác nhau xuất hiện trong các tài liệu đó. Nhiều từ có thể nhóm thành một khái niệm. Ở đây, SVD cũng giảm bớt tương quan nhiễu giữa từ và tài liệu, và giảm số chiều của dữ liệu gốc.

Thấy không, SVD là khái niệm quan trọng trên hành trình khoa học dữ liệu của bạn mà bạn phải học. Vì vậy, bạn nên tìm hiểu sâu hơn SVD so với phạm vi hướng dẫn này: ví dụ, truy cập trang này để đọc thêm về phân rã ma trận.