Hướng dẫn LLM

Tìm hiểu cách cài đặt, thiết lập và chạy QwQ-32B tại chỗ với Ollama và xây dựng một ứng dụng Gradio đơn giản.

RankGPT là một phương pháp sử dụng các LLM như ChatGPT để xếp hạng lại tài liệu trong hệ thống RAG, nâng cao chất lượng đầu ra bằng cách ưu tiên thông tin liên quan nhất.

Tìm hiểu cách xây dựng ứng dụng AI thời gian thực với Realtime API của OpenAI. Hướng dẫn này bao gồm WebSocket, thiết lập Node.js, nhắn tin văn bản/âm thanh, gọi hàm và triển khai bản demo trợ lý giọng nói bằng React.

Tìm hiểu cách triển khai truy xuất đệ quy trong hệ thống RAG bằng LlamaIndex để cải thiện độ chính xác và mức độ liên quan của thông tin được truy xuất, đặc biệt với các bộ sưu tập tài liệu lớn.

Reflection Llama-3.1 70B, được huấn luyện bằng Reflection-Tuning, tuyên bố vượt GPT-4o và Claude 3.5 Sonnet nhưng đến nay vẫn gặp vấn đề về khả năng tái lập và xác minh.

Tìm hiểu cách cài đặt và sử dụng Roo Code, một trợ lý mã hóa AI mã nguồn mở, và so sánh tính năng cũng như chức năng của nó với Cline.

Tìm hiểu cách tạo bản triển khai đơn giản hóa của khung RStar bằng cách kết hợp mạng nơ-ron, suy luận ký hiệu và Monte Carlo Tree Search (MCTS).

Tìm hiểu cách chạy mô hình Bonsai 1-bit nhanh và hiệu quả của PrismML cục bộ trên Windows, từ tải xuống và thiết lập đến kiểm thử WebUI, đạt 88,6 token mỗi giây.

Thiết lập llama.cpp để chạy mô hình GLM-4.7 trên một NVIDIA H100 80GB, đạt tới 20 token/giây nhờ offload GPU, Flash Attention, kích thước ngữ cảnh tối ưu, batching hiệu quả và điều chỉnh luồng CPU.

Tìm hiểu cách chạy Kimi K2 trên một GPU A100 với RAM 250GB bằng llama.cpp.

Chạy LLaMA 3 cục bộ với GPT4ALL và Ollama, và tích hợp vào VSCode. Sau đó, xây dựng hệ thống truy xuất Hỏi & Đáp bằng Langchain và Chroma DB.

Tìm hiểu những cách đơn giản nhưng mạnh mẽ để sử dụng Qwen3-Coder trên máy của bạn.