10 Docker Project Ideas: From Beginner to Advanced

Các dự án Docker trình độ trung cấp

Những dự án sau dành cho người đã nắm vững các kiến thức cơ bản về Docker. Chúng sẽ giới thiệu các khái niệm phức tạp hơn như multi-stage builds và kỹ thuật tối ưu hóa.

Dự án 4: Multi-stage build cho ứng dụng Node.js

Multi-stage builds giúp giảm kích thước Docker image bằng cách tách môi trường build và runtime. Trong dự án này, bạn sẽ đưa một ứng dụng Node.js vào container bằng multi-stage builds.

Mức độ khó: Trung cấp

Công nghệ sử dụng: Docker, Node.js, Nginx

Hướng dẫn từng bước

• Tạo ứng dụng Node.js đơn giản: Viết một máy chủ Node.js cơ bản trả về thông điệp đơn giản. Ví dụ như sau:

const express = require('express');
const app = express();
 
app.get('/', (req, res) => res.send('Hello from Node.js'));
 
app.listen(3000, () => console.log('Server running on port 3000'));

• Viết Dockerfile với multi-stage build: Giai đoạn đầu build ứng dụng, giai đoạn sau chạy ứng dụng với image nền nhẹ hơn.

# Stage 1: Build
FROM node:14 as build-stage
WORKDIR /app
COPY package*.json ./
RUN npm install
COPY . .
# Add the following line if there's a build step for the app
# RUN npm run build

# Stage 2: Run
FROM node:14-slim
WORKDIR /app
COPY --from=build-stage /app .
EXPOSE 3000
ENV NODE_ENV=production
CMD ["node", "server.js"]

• Build image:

docker build -t node-multi-stage .

• Chạy container:

docker run -p 3000:3000 node-multi-stage

Dự án 5: Đưa mô hình machine learning với TensorFlow vào Docker

Dự án này sẽ đưa một mô hình machine learning sử dụng TensorFlow vào container. Mục tiêu là tạo môi trường di động để chạy mô hình TensorFlow trên nhiều hệ thống mà không lo về thiết lập nền tảng.

Mức độ khó: Trung cấp

Công nghệ sử dụng: Docker, TensorFlow, Python

Hướng dẫn từng bước

• Cài TensorFlow trong một script Python: Tạo script Python model.py tải và chạy một mô hình TensorFlow đã huấn luyện sẵn:

import tensorflow as tf
model = tf.keras.applications.MobileNetV2(weights='imagenet')
print("Model loaded successfully")

• Viết Dockerfile: Định nghĩa môi trường cho TensorFlow bên trong Docker:

FROM tensorflow/tensorflow:latest
WORKDIR /app
COPY . .
CMD ["python", "model.py"]

• Build image:

docker build -t tensorflow-model .

• Chạy container:

docker run tensorflow-model

Dự án 6: Tạo môi trường khoa học dữ liệu với Jupyter và Docker

Dự án này tập trung vào tạo một môi trường khoa học dữ liệu có thể tái lập bằng Docker và Jupyter notebooks. Môi trường sẽ bao gồm các thư viện Python phổ biến như pandas, NumPy, và scikit-learn.

Mức độ khó: Trung cấp

Công nghệ sử dụng: Docker, Jupyter, Python, scikit-learn

Hướng dẫn từng bước

• Tạo tệp docker-compose.yml: Định nghĩa dịch vụ Jupyter Notebook và các thư viện cần thiết. Ví dụ như sau:

version: '3'
services:
  jupyter:
    	image: jupyter/scipy-notebook
    	ports:
    	- "8888:8888"
    	volumes:
    	- ./notebooks:/home/joelwembo/work

• Khởi động Jupyter Notebook: Sử dụng Docker Compose để khởi chạy Jupyter Notebook.

docker-compose up

• Truy cập Jupyter Notebook: Mở trình duyệt và truy cập http://localhost:8888.

Các dự án Docker trình độ nâng cao

Các dự án nâng cao này tập trung vào ứng dụng thực tế và những khái niệm Docker nâng cao, như pipeline học sâu và pipeline dữ liệu tự động.

Dự án 7: Giảm kích thước Docker image cho ứng dụng Python

Trong dự án này, bạn sẽ tối ưu Docker image cho một ứng dụng Python bằng cách sử dụng image nền tối giản như Alpine Linux và áp dụng multi-stage builds để giữ image nhỏ nhất có thể.

Mức độ khó: Nâng cao

Công nghệ sử dụng: Docker, Python, Alpine Linux

Hướng dẫn từng bước

• Viết script Python: Tạo script phân tích dữ liệu bằng pandas. Ví dụ như sau:

import pandas as pd
df = pd.read_csv('data.csv')
print(df.head())

• Tối ưu Dockerfile: Sử dụng multi-stage builds và Alpine Linux để tạo image gọn nhẹ.

# Stage 1: Build stage
FROM python:3.9-alpine as build-stage
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY script.py .

# Stage 2: Run stage
FROM python:3.9-alpine
WORKDIR /app
COPY --from=build-stage /app/script.py .
CMD ["python", "script.py"]

• Build image:

docker build -t optimized-python-app .

Dự án 8: Đưa pipeline học sâu với PyTorch vào Docker

Dự án này bao gồm đưa một pipeline học sâu sử dụng PyTorch vào container. Trọng tâm là tối ưu Dockerfile về hiệu năng và kích thước, giúp dễ dàng chạy các mô hình học sâu trong nhiều môi trường khác nhau.

Mức độ khó: Nâng cao

Công nghệ sử dụng: Docker, PyTorch, Python

Hướng dẫn từng bước

• Cài PyTorch trong một script Python: Tạo script tải mô hình PyTorch đã huấn luyện sẵn và thực hiện suy luận. Ví dụ như sau:

import torch
model = torch.hub.load('pytorch/vision', 'resnet18', pretrained=True)
print("Model loaded successfully")

• Viết Dockerfile: Định nghĩa môi trường cho PyTorch:

FROM pytorch/pytorch:1.9.0-cuda11.1-cudnn8-runtime
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY model.py .
CMD ["python", "model.py"]

• Build image:

docker build -t pytorch-model .

• Chạy container:

docker run pytorch-model 

Dự án 9: Tự động hóa pipeline dữ liệu với Apache Airflow và Docker

Trong dự án này, bạn sẽ thiết lập và đưa môi trường Apache Airflow vào container để tự động hóa các pipeline dữ liệu. Apache Airflow là công cụ phổ biến để điều phối các quy trình phức tạp, được dùng rộng rãi trong kỹ thuật dữ liệu.

Mức độ khó: Nâng cao

Công nghệ sử dụng: Docker, Apache Airflow, Python, PostgreSQL

Hướng dẫn từng bước

• Tạo tệp docker-compose.yml: Định nghĩa các dịch vụ Airflow và cơ sở dữ liệu PostgreSQL:

version: '3'
services:
  postgres:
    image: postgres:latest
    environment:
      POSTGRES_USER: airflow
      POSTGRES_PASSWORD: airflow
      POSTGRES_DB: airflow
    ports:
      - "5432:5432"
    volumes:
      - postgres_data:/var/lib/postgresql/data

  webserver:
    image: apache/airflow:latest
    environment:
      AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      AIRFLOW__CORE__EXECUTOR: LocalExecutor
    depends_on:
      - postgres
    ports:
      - "8080:8080"
    volumes:
      - ./dags:/opt/airflow/dags
    command: ["webserver"]

  scheduler:
    image: apache/airflow:latest
    environment:
      AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airflow:airflow@postgres/airflow
      AIRFLOW__CORE__EXECUTOR: LocalExecutor
    depends_on:
      - postgres
      - webserver
    volumes:
      - ./dags:/opt/airflow/dags
    command: ["scheduler"]

volumes:
  postgres_data:

• Khởi động môi trường Airflow: Dùng Docker Compose để khởi chạy môi trường Airflow:

docker-compose up

• Truy cập giao diện Airflow: Mở trình duyệt và truy cập http://localhost:8080.

Dự án 10: Triển khai API khoa học dữ liệu với FastAPI và Docker

Xây dựng và triển khai một API khoa học dữ liệu bằng FastAPI. Bạn sẽ đóng gói API bằng Docker và tập trung tối ưu cho môi trường production.

Mức độ khó: Nâng cao

Công nghệ sử dụng: Docker, FastAPI, Python, scikit-learn

Hướng dẫn từng bước

• Viết ứng dụng FastAPI: Tạo một API đơn giản dùng mô hình machine learning để dự đoán. Ví dụ như sau:

from fastapi import FastAPI
import pickle
 
app = FastAPI()
with open("model.pkl", "rb") as f:
   model = pickle.load(f)
 
@app.post("/predict/")
def predict(data: list):
   return {"prediction": model.predict(data)}

• Viết Dockerfile: Tạo Dockerfile định nghĩa môi trường cho FastAPI:

FROM python:3.9-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "8000"]

• Build image:

docker build -t fastapi-app .

• Chạy container:

docker run -p 8000:8000 fastapi-app

Mẹo khi làm việc với các dự án Docker

Khi triển khai các dự án này, hãy lưu ý những mẹo sau:

• Bắt đầu từ nhỏ: Khởi đầu bằng các dự án hơi thách thức, sau đó chuyển sang nhiệm vụ phức tạp hơn. Xây dựng sự tự tin với các tác vụ đơn giản hơn là rất quan trọng.
• Ghi chép tiến độ: Lưu nhật ký chi tiết về các dự án để theo dõi quá trình học và dùng làm tài liệu tham chiếu cho các nỗ lực sau này.
• Tham gia cộng đồng Docker: Tham gia các diễn đàn trực tuyến và meetup địa phương để chia sẻ kinh nghiệm, đặt câu hỏi, và học hỏi lẫn nhau.
• Thử nghiệm và tùy biến: Đừng ngại điều chỉnh các dự án, thử cách tiếp cận khác, và khám phá các tính năng Docker mới.
• Không ngừng học hỏi: Tiếp tục mở rộng kiến thức về Docker bằng cách khám phá các chủ đề và công cụ nâng cao như Kubernetes, Docker Swarm, hoặc kiến trúc microservices.

Kết luận

Thành thạo Docker không chỉ là học lệnh và cấu hình. Đó còn là hiểu Docker phù hợp thế nào với phát triển ứng dụng hiện đại, quy trình khoa học dữ liệu và quản trị hạ tầng.

Những dự án tôi chia sẻ trong hướng dẫn này cung cấp một số ý tưởng để xây dựng kỹ năng nền tảng và trải nghiệm thực hành cần thiết nhằm tiến tới làm tốt trong các tình huống thực tế.

Ở thời điểm này, tôi đề xuất bạn củng cố kiến thức bằng cách theo các khóa học sau:

• Intermediate Docker
• Introduction to Kubernetes