LLM 教程

了解如何在本地通过 Ollama 安装、设置并运行 QwQ-32B，并构建一个简易的 Gradio 应用。

RankGPT 是一种方法，使用 ChatGPT 等 LLM 对 RAG 系统检索到的文档进行重排序，通过优先呈现最相关的信息来提升输出质量。

学习如何使用 OpenAI 的 Realtime API 构建实时 AI 应用。本教程涵盖 WebSocket、Node.js 设置、文本/音频消息、函数调用，以及部署 React 语音助手演示。

Learn how to implement recursive retrieval in RAG systems using LlamaIndex to improve the accuracy and relevance of retrieved information, especially for large document collections.

Reflection Llama-3.1 70B 采用 Reflection-Tuning 训练，声称超越 GPT-4o 与 Claude 3.5 Sonnet，但目前在可复现与验证方面仍存问题。

了解如何安装和使用 Roo Code（开源 AI 编码助手），并将其功能与 Cline 进行对比。

学习如何使用神经网络、符号推理和蒙特卡罗树搜索（MCTS）的组合，创建 RStar 框架的简化实现。

学习如何在 Windows 本地运行 PrismML 极速高效的 1 比特 Bonsai 模型：从下载与安装到使用 WebUI 测试，实测可达每秒 88.6 个 token。

在单张 NVIDIA H100 80GB GPU 上配置 llama.cpp 运行 GLM-4.7，通过 GPU 卸载、Flash Attention、上下文优化、高效批处理与调优 CPU 线程，最高可达每秒 20 个 token。

了解如何在 H100 GPU 上使用 llama.cpp 本地运行 GLM 5.1，进行测试、使用 WebUI，并与 Claude Code 集成。

在单块 GPU 上通过 llama.cpp 运行 GLM-5（最佳开源权重 AI 模型），并连接 Aider，将其变成强大的本地编码代理。

学习如何使用 llama.cpp 在单块 A100 GPU 与 250GB 内存上运行 Kimi K2。