Cài đặt PySpark (Mọi hệ điều hành)

• Cài đặt trên Windows
• Cài đặt trên Linux
• Cài đặt trên Mac

Pyspark = Python + Apache Spark

Apache Spark là một framework mã nguồn mở, mới, được dùng trong lĩnh vực big data cho xử lý thời gian thực và xử lý theo lô. Nó hỗ trợ nhiều ngôn ngữ như Python, Scala, Java và R.

Apache Spark ban đầu được viết bằng một ngôn ngữ trên Java Virtual Machine (JVM) gọi là Scala, trong khi Pyspark giống như một API Python chứa thư viện tên là Py4J. Thư viện này cho phép tương tác động với các đối tượng JVM.

Cài đặt trên Windows

Phần cài đặt dưới đây áp dụng cho hệ điều hành Windows. Bao gồm cài đặt Java với biến môi trường và Apache Spark với biến môi trường.

Cài đặt tiên quyết được khuyến nghị là Python, có thể thực hiện từ đây.

Cài đặt Java

1. Truy cập Tải Java JDK.
   Vào trang Oracle để tải Java Development Kit (JDK).
   
   
2. Chuyển đến phần tải về cho hệ điều hành Windows, trong ví dụ này là Windows Offline (64-bit). Tệp cài đặt sẽ được tải xuống.
   
   
3. Mở tệp cài đặt và bắt đầu cài đặt.
   
   

4. Mở "Command Prompt" và gõ "java -version" để biết phiên bản và kiểm tra đã cài đặt hay chưa.

5. Thêm đường dẫn Java

6. Vào thanh tìm kiếm và chọn "EDIT THE ENVIRONMENT VARIABLES.
7. Nhấp vào "Environment Variables"
8. Nhấp "New" để tạo biến môi trường mới.
9. Đặt Tên biến là "JAVA_HOME" và Giá trị biến là 'C:\Program Files (x86)\Java\jdk1.8.0_251'. Đây là vị trí tệp Java. Nhấp 'OK' sau khi hoàn tất.
10. Thêm biến User và chọn 'Path' rồi nhấp 'New' để tạo.
11. Đặt tên biến là 'PATH' và giá trị đường dẫn là 'C:\Program Files (x86)\Java\jdk1.8.0_251\bin', đây là vị trí tệp bin của Java. Nhấp 'OK' sau khi hoàn tất.

Lưu ý: Bạn có thể tìm vị trí tệp Java bằng cách vào ổ C, là 'C:\Program Files (x86)\Java\jdk1.8.0_251' nếu bạn không thay đổi vị trí trong quá trình tải.

Cài đặt Pyspark

1. Truy cập trang chủ Spark.

2. Chọn bản phát hành Spark và loại gói như sau rồi tải tệp .tgz.

Bạn có thể tạo thư mục mới tên 'spark' trong ổ C và giải nén tệp đã tải bằng 'Winrar', thao tác này sẽ hữu ích về sau.

Tải và thiết lập winutils.exe

Vào Winutils chọn phiên bản Hadoop bạn đã tải trước đó, rồi tải tệp winutils.exe bằng cách vào thư mục 'bin'. Liên kết tới phiên bản Hadoop của tôi: https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

Tạo thư mục mới tên 'winutils' và bên trong tạo tiếp thư mục 'bin'. Sau đó đặt tệp 'winutils' vừa tải vào trong đó.

Biến môi trường

1. Tạo biến môi trường mới với tên biến là "hadoop_home" và giá trị biến là vị trí của winutils, tức "C:\winutils", rồi nhấp "OK".
   
2. Đối với spark, cũng tạo biến môi trường mới với tên biến là "Spark_home" và giá trị biến là vị trí của spark, tức "C:\spark", rồi nhấp "OK".
   
3. Cuối cùng, nhấp đúp vào 'path' và thay đổi như bên dưới, nơi một đường dẫn mới "%Spark_Home%\bin' được thêm vào rồi nhấp "OK".
   

Hoàn tất cài đặt Pyspark

1. Mở Command Prompt và gõ lệnh sau.
   
2. Khi mọi thứ đã thành công, bạn sẽ thấy thông báo sau.
   

Cài đặt trên Linux

Phần cài đặt dưới đây áp dụng cho hệ điều hành Linux. Bao gồm cài đặt Java với biến môi trường cùng với Apache Spark và biến môi trường.

Cài đặt tiên quyết được khuyến nghị là Python, có thể thực hiện từ đây.

Cài đặt Java

1. Truy cập Tải Java JDK.
   Vào trang Oracle để tải Java Development Kit (JDK).
   
   
2. Chuyển đến phần tải về cho hệ điều hành Linux và tải theo yêu cầu hệ thống của bạn.
   
3. Lưu tệp và nhấp "Ok" để lưu vào máy cục bộ của bạn.
   
4. Mở terminal và kiểm tra tệp vừa tải bằng lệnh 'ls'.
   
5. Cài đặt gói bằng lệnh sau, lệnh này sẽ cài đặt gói debian của Java vừa tải.
6. Cuối cùng, bạn có thể kiểm tra phiên bản java bằng lệnh 'java --version'.
   
7. Để cấu hình biến môi trường, hãy mở trình soạn thảo văn bản 'gedit' bằng lệnh sau.
   
8. Thực hiện thay đổi bằng cách cung cấp thông tin sau, trong đó chỉ định đường dẫn 'Java'.
   
9. Để hoàn tất, nhập lệnh sau.

Cài đặt Spark

1. Truy cập trang chủ Spark.
2. Chọn bản phát hành Spark và loại gói như sau rồi tải tệp .tgz.
   
3. Lưu tệp vào máy cục bộ của bạn và nhấp 'Ok'.
   
4. Mở terminal và đi tới tệp vừa tải.
   
5. Giải nén tệp bằng lệnh sau.
   
6. Sau khi giải nén, tệp mới được tạo và hiển thị bằng lệnh danh sách ('ls').
   

Cấu hình biến môi trường trong Linux

1. Mở tệp 'bashrc' bằng 'vim editor' với lệnh 'vim ~/.bashrc'.
   
2. Cung cấp thông tin sau theo đường dẫn phù hợp trên máy bạn. Trong trường hợp của tôi, đây là các đường dẫn yêu cầu tới vị trí Spark, đường dẫn Python và đường dẫn Java. Ngoài ra, trước tiên nhấn 'Esc' rồi gõ ":wq" để lưu và thoát vim.
   
3. Để hoàn tất, lưu và thoát. Kết quả là bạn có thể gọi lệnh pyspark ở mọi nơi trong thư mục.
4. Mở pyspark bằng lệnh 'pyspark', và thông báo cuối sẽ như bên dưới.

Cài đặt trên Mac

Phần cài đặt dưới đây áp dụng cho hệ điều hành Mac. Bao gồm cài đặt Java với biến môi trường cùng với Apache Spark và biến môi trường.

Cài đặt tiên quyết được khuyến nghị là Python, có thể thực hiện từ đây.

Cài đặt Java

1. Truy cập Tải Java JDK.
   Vào trang Oracle để tải Java Development Kit (JDK).
   
   
2. Chuyển đến phần tải về cho hệ điều hành Linux và tải theo yêu cầu hệ thống của bạn.
   
3. Có thể xác nhận cài đặt Java bằng cách dùng $java --showversion trong Terminal.

Cài đặt Apache Spark

1. Truy cập trang chủ Spark.
2. Chọn bản phát hành Spark và loại gói như sau rồi tải tệp .tgz.
   
3. Lưu tệp vào máy cục bộ của bạn và nhấp 'Ok'.
4. Giải nén tệp bằng lệnh sau.
   $ tar -xzf spark-2.4.6-bin-hadoop2.7.tgz

Cấu hình biến môi trường cho Apache Spark và Python

Bạn cần mở tệp ~/.bashrc hoặc ~/.zshrc tùy thuộc vào phiên bản Mac hiện tại.

export SPARK_HOME="/Downloads/spark"
export PATH=$SPARK_HOME/bin:$PATH
export PYSPARK_PYTHON=python3

Mở pyspark bằng lệnh 'pyspark', và thông báo cuối sẽ như bên dưới.

Chúc mừng

Chúc mừng bạn đã hoàn thành hướng dẫn này!

Trong hướng dẫn này, bạn đã học cách cài đặt Pyspark, bắt đầu từ cài đặt Java cùng với Apache Spark và quản lý các biến môi trường trên Windows, Linux và Mac.

Nếu bạn muốn tìm hiểu thêm về Pyspark, hãy học khóa Introduction to Pyspark của DataCamp.

Hãy xem Hướng dẫn Apache Spark: ML với PySpark của chúng tôi.