Запуск DeepSeek-V4-Flash-0731 с Unsloth Studio и OpenCode
Запустите последнюю модель DeepSeek V4 Flash на мульти-GPU с Unsloth Studio, подключите её к OpenCode и используйте локального ИИ‑агента, чтобы создать интерактивный сайт аналитики акций.
Меньшие и более быстрые модели больше не означают автоматически меньшую способность. Согласно опубликованным оценкам DeepSeek, DeepSeek-V4-Flash-0731 использует гораздо меньший объём активируемых параметров, чем DeepSeek-V4-Pro, при этом демонстрируя почти передовой уровень агентных возможностей: она набирает 82,7 в Terminal Bench 2.1 против 81,0 у GLM-5.2 и 85,0 у Opus 4.8, а её результат в 25,2 в Agents’ Last Exam близок к 25,7 у Opus 4.8.
Поскольку веса доступны открыто, теоретически вы можете запускать модель на собственном оборудовании при наличии достаточного суммарного объёма RAM или VRAM, сохраняя управление инференсом и данными проекта.
В этом руководстве мы настроим окружение RunPod с тремя GPU, установим и запустим Unsloth Studio, скачаем и загрузим версию DeepSeek-V4-Flash-0731 в квантизации Q8 на несколько GPU, протестируем модель через Studio, подключим локальный сервер инференса к OpenCode и с помощью кодирующего агента соберём и запустим интерактивный сайт аналитики акций.
Чем отличается DeepSeek-V4-Flash-0731?
DeepSeek-V4-Flash-0731 — это официальный релиз, заменяющий раннюю превью-версию, с серьёзными улучшениями в кодинге, использовании инструментов и автономных агентных задачах. Архитектура Mixture-of-Experts активирует лишь часть модели для каждого токена. Это помогает сохранять эффективность при высокой производительности.
По данным DeepSeek, модель улучшилась с 61,8 до 82,7 в Terminal Bench 2.1 и с 7,3 до 54,4 в DeepSWE. Она также превзошла более крупную DeepSeek-V4-Pro Preview в нескольких агентных бенчмарках.
Модель поддерживает окна контекста до одного миллиона токенов. Это делает её подходящей для больших кодовых баз, длинных документов и сложных рабочих процессов, требующих значительного контекста. Пользователь также может выбирать между низким, высоким и максимальным уровнем рассуждений в зависимости от требуемого времени на решение задачи.
DeepSeek-V4-Flash-0731 также включает спекулятивное декодирование DSpark. DSpark предварительно черновиком генерирует несколько токенов, прежде чем основная модель их верифицирует, что, как утверждает DeepSeek, может повысить скорость генерации на 60–85% при использовании совместимого движка инференса.
1. Настройте Pod в RunPod
Начнём с создания окружения RunPod с достаточным объёмом памяти GPU и хранилища для запуска версии DeepSeek-V4-Flash-0731 в Q8, а также размещения Unsloth Studio и сайта, который создаст OpenCode.
Настройте Pod со следующими параметрами:
3× NVIDIA A100 SXM 80GB GPU
Последний шаблон RunPod PyTorch
Не менее 250 ГБ постоянного хранилища тома
Не менее 50 ГБ хранилища контейнера
/workspace в качестве точки монтирования постоянного тома
Токен доступа Hugging Face, добавленный как HF_TOKEN
Открытые HTTP-порты 8910 и 9101
Порт 8910 будет использоваться для Unsloth Studio и его локального API инференса. Порт 9101 будет хостить интерактивный сайт, созданный OpenCode.
RunPod публикует эти сервисы через свой HTTP-прокси, поэтому оба приложения должны слушать на адресе 0.0.0.0, а не только на 127.0.0.1.
После развёртывания Pod откройте вкладку Connect, запустите JupyterLab и создайте три терминальные сессии:
Terminal 1: Unsloth Studio
Terminal 2: GPU monitoring
Terminal 3: OpenCodeРаботает на
Поддержание задач в отдельных терминалах упрощает мониторинг GPU, устранение неполадок модели и одновременный запуск кодирующего агента.
2. Установка и запуск Unsloth Studio
Далее мы установим Unsloth Studio, настроим постоянный кэш Hugging Face и запустим интерфейс на порту 8910.
В Терминале 1 убедитесь, что доступны все три GPU:
Теперь Studio должно сообщить, что работает на порту 8910. Держите Терминал 1 открытым во время работы с Unsloth Studio и OpenCode.
Вернитесь на страницу RunPod Connect и откройте HTTP Service для порта 8910.
Используйте ранее сгенерированный временный пароль, чтобы завершить сброс, затем войдите с новым созданным паролем.
Пройдите или пропустите онбординг и откройте страницу Chat.
3. Скачайте и запустите DeepSeek-V4-Flash-0731
Теперь, когда Unsloth Studio запущена, мы можем скачать модель Q8, загрузить её на три GPU и протестировать возможности чата и использования инструментов.
Откройте селектор модели в левом верхнем углу, найдите unsloth/DeepSeek-V4-Flash-0731-GGUF и выберите квантизацию Q8 UD-Q8_K_XL.
Мы используем Q8, потому что три A100 обеспечивают достаточно суммарной VRAM. Это сохраняет качество ближе к исходной модели, тогда как более низкие квантизации полезны, когда память оборудования ограничена.
После завершения загрузки Unsloth Studio автоматически начнёт загружать модель в память GPU. Это может занять несколько минут из-за большого размера модели Q8.
После загрузки используйте страницу Chat, чтобы проверить модель на нескольких простых запросах.
В наших тестах скорость генерации достигала примерно 33 токенов в секунду без спекулятивного декодирования, что является разумным результатом для модели такого размера.
Вы также можете включить веб-поиск Studio и попросить модель найти актуальную информацию, например последние цены на золото и серебро. Это полезный способ убедиться, что модель умеет вызывать внешние инструменты, а не полагается только на внутренние знания.
В Терминале 2 проверьте, как модель распределена по GPU:
Вы должны увидеть значительное использование памяти на всех трёх GPU.
В нашем тесте каждый GPU был заполнен примерно на 70%. Однако это не обязательно означает, что полная модель Q8 поместится без проблем лишь на двух 80-гигабайтных GPU, поскольку дополнительная VRAM всё ещё нужна для окна контекста, KV-кэша и буферов инференса.
Наконец, протестируйте модель с планировочным промптом для приложения, которое мы будем собирать:
Create a concise architecture plan for an interactive stock analytics website
using Next.js, financial charts, technical indicators, portfolio tracking,
and responsive animations.Работает на
Модель возвращает структурированный план разработки, охватывающий архитектуру приложения, компоненты, потоки данных, библиотеки графиков, финансовые вычисления и дизайн интерфейса.
4. Подключите DeepSeek-V4-Flash-0731 к OpenCode и соберите сайт
Теперь, когда модель работает в Unsloth Studio, мы можем подключить её к OpenCode и использовать в качестве локального кодирующего агента.
В Терминале 3 задайте URL Studio:
echo'export UNSLOTH_STUDIO_URL="http://127.0.0.1:8910"'>> ~/.bashrc
source ~/.bashrcРаботает на
Создайте новую директорию проекта:
mkdir-p /workspace/market-pulse
cd /workspace/market-pulseРаботает на
При первом запуске будет запрошено разрешение на установку OpenCode. Введите «y».
После завершения установки OpenCode запустится с уже настроенной локально работающей моделью DeepSeek-V4-Flash-0731.
Вставьте следующий двухстрочный промпт в OpenCode:
Build a polished, highly interactive stock analytics website using Bun, Next.js App Router,
TypeScript, shadcn/ui, Motion, TradingView Lightweight Charts, and a free financial-data API,
with live stock search, charts, technical indicators, gains, losses, watchlists, portfolio tracking,
comparisons, responsive design, animations, loading states, and error handling.
Work autonomously: install everything, create every file, test and fix the complete application,
and run the finished website on 0.0.0.0:9101.
Работает на
Через несколько секунд кодирующий агент должен создать подробный список задач и начать пошаговую работу над проектом.
Полная сборка заняла около 20 минут в нашем тесте. Пока она выполняется, вы можете вернуться в Unsloth Studio и открыть страницу мониторинга API в Settings, чтобы отслеживать использование модели и скорость генерации.
Мы наблюдали среднюю скорость около 22,6 токена в секунду в процессе кодирования. По мере роста контекста диалога и проекта скорость может снижаться.
После завершения задач OpenCode должен предоставить сводку созданных файлов, функций и команд. Также он должен запустить готовый сайт на порту 9101.
Вернитесь на страницу RunPod Connect и откройте HTTP Service для порта 9101.
Результат оказался на удивление качественным. Сайт выглядел аккуратно, с анимациями, и напоминал профессиональную торговую панель. Модель завершила веб-приложение по одному промпту, включая интерфейс, представления данных, графики и навигацию.
Вы можете выбирать отдельные тикеры акций, чтобы просматривать свечные графики, исторические показатели, индикаторы и дополнительную информацию о компании.
Вкладка Compare также позволяет сравнивать несколько акций и видеть, какие показывали лучшую динамику за выбранный период.
Я был искренне удивлён, что более компактная локальная модель смогла собрать весь сайт по одному промпту.
После тестирования приложения все ключевые функции работали как задумано, включая котировки в реальном времени, исторические рыночные данные, графики, индикаторы и инструменты сравнения.
Поразительно, как быстро совершенствуются локальные модели и насколько они уже способны выполнять сложные, сквозные задачи разработки.
Заключение
Для меня DeepSeek-V4-Flash-0731 — лучшая локальная модель из тех, что я пока тестировал.
Она показала себя лучше, чем Inkling, 2-битная квантизация GLM-5.2 и Qwen3.6-27B, которая ранее была моей любимой. Это основано на моём собственном опыте, а не на формальном бенчмарке, но теперь это моя предпочтительная локальная модель.
Для большинства практических задач я всё же начал бы с официального API DeepSeek, так как он крайне доступный по цене.
V4 Flash в настоящее время стоит $0,14 за миллион некэшированных входных токенов, $0,0028 за миллион кэшированных входных токенов и $0,28 за миллион выходных токенов. При таком тарифе один миллиард кэшированных входных токенов обойдётся примерно в $2,80 без учёта выходных данных.
Прежде чем остановиться на Unsloth Studio, я пытался запускать модель через llama.cpp. Предварительно собранный установщик не предоставлял подходящего свежего CUDA-бинарника для моего окружения, и хотя я собрал последнюю версию из исходников, столкнулся с дальнейшими проблемами при включении спекулятивного декодирования DSpark.
В итоге Unsloth Studio обеспечила самую простую установку и сняла большую часть ручной конфигурации. Она хорошо работала с OpenCode, хотя сборка полного приложения заняла около 20 минут.
Научитесь использовать ИИ как старшего инженерного партнёра для анализа кода, оптимизации производительности, безопасности и решений по архитектуре ПО.
%22%3E%3Cpath%20d%3D%22m-369%200h408v79h-408z%22%20fill%3D%22%237933ff%22%2F%3E%3Cpath%20d%3D%22m-148%200h306v45h-306z%22%20fill%3D%22%23974dff%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
%22%2F%3E%3C%2FclipPath%3E%3Cg%20clip-path%3D%22url(%23a)%22%3E%3Cpath%20d%3D%22m76%200h484v36h-484z%22%20fill%3D%22%23974dff%22%2F%3E%3Cpath%20d%3D%22m0%200h384v24h-384z%22%20fill%3D%22%2306bdfc%22%20transform%3D%22matrix(1%200%200%20-1%200%2060)%22%2F%3E%3C%2Fg%3E%3C%2Fsvg%3E)
Меньшие и более быстрые модели больше не означают автоматически меньшую способность. Согласно опубликованным оценкам DeepSeek, DeepSeek-V4-Flash-0731 использует гораздо меньший объём активируемых параметров, чем DeepSeek-V4-Pro, при этом демонстрируя почти передовой уровень агентных возможностей: она набирает 82,7 в Terminal Bench 2.1 против 81,0 у GLM-5.2 и 85,0 у Opus 4.8, а её результат в 25,2 в Agents’ Last Exam близок к 25,7 у Opus 4.8.
Поскольку веса доступны открыто, теоретически вы можете запускать модель на собственном оборудовании при наличии достаточного суммарного объёма RAM или VRAM, сохраняя управление инференсом и данными проекта.
В этом руководстве мы настроим окружение RunPod с тремя GPU, установим и запустим Unsloth Studio, скачаем и загрузим версию DeepSeek-V4-Flash-0731 в квантизации Q8 на несколько GPU, протестируем модель через Studio, подключим локальный сервер инференса к OpenCode и с помощью кодирующего агента соберём и запустим интерактивный сайт аналитики акций.
Чем отличается DeepSeek-V4-Flash-0731?
DeepSeek-V4-Flash-0731 — это официальный релиз, заменяющий раннюю превью-версию, с серьёзными улучшениями в кодинге, использовании инструментов и автономных агентных задачах. Архитектура Mixture-of-Experts активирует лишь часть модели для каждого токена. Это помогает сохранять эффективность при высокой производительности.
Источник: deepseek-ai/DeepSeek-V4-Flash-0731 · Hugging Face
По данным DeepSeek, модель улучшилась с 61,8 до 82,7 в Terminal Bench 2.1 и с 7,3 до 54,4 в DeepSWE. Она также превзошла более крупную DeepSeek-V4-Pro Preview в нескольких агентных бенчмарках.
Модель поддерживает окна контекста до одного миллиона токенов. Это делает её подходящей для больших кодовых баз, длинных документов и сложных рабочих процессов, требующих значительного контекста. Пользователь также может выбирать между низким, высоким и максимальным уровнем рассуждений в зависимости от требуемого времени на решение задачи.
DeepSeek-V4-Flash-0731 также включает спекулятивное декодирование DSpark. DSpark предварительно черновиком генерирует несколько токенов, прежде чем основная модель их верифицирует, что, как утверждает DeepSeek, может повысить скорость генерации на 60–85% при использовании совместимого движка инференса.
1. Настройте Pod в RunPod
Начнём с создания окружения RunPod с достаточным объёмом памяти GPU и хранилища для запуска версии DeepSeek-V4-Flash-0731 в Q8, а также размещения Unsloth Studio и сайта, который создаст OpenCode.
Настройте Pod со следующими параметрами:
/workspaceв качестве точки монтирования постоянного томаHF_TOKEN8910и9101Порт
8910будет использоваться для Unsloth Studio и его локального API инференса. Порт9101будет хостить интерактивный сайт, созданный OpenCode.RunPod публикует эти сервисы через свой HTTP-прокси, поэтому оба приложения должны слушать на адресе
0.0.0.0, а не только на127.0.0.1.После развёртывания Pod откройте вкладку Connect, запустите JupyterLab и создайте три терминальные сессии:
Поддержание задач в отдельных терминалах упрощает мониторинг GPU, устранение неполадок модели и одновременный запуск кодирующего агента.
2. Установка и запуск Unsloth Studio
Далее мы установим Unsloth Studio, настроим постоянный кэш Hugging Face и запустим интерфейс на порту
8910.В Терминале 1 убедитесь, что доступны все три GPU:
Вы должны увидеть все три A100 GPU, перечисленные на Linux-сервере.
Создайте постоянный кэш Hugging Face внутри
/workspace, чтобы загруженные модели оставались доступными на томе RunPod:Затем установите необходимые системные пакеты и Unsloth Studio:
Установщик настраивает интерфейс Studio, окружение Python, зависимости и компоненты локального инференса.
Первая установка может занять несколько минут.
Когда установщик спросит, хотите ли вы сразу запустить Unsloth Studio, введите «n».
Мы запустим его вручную, чтобы он использовал порт
8910и слушал нужный сетевой адрес.Перезапустите оболочку, чтобы новые команды стали доступны:
Перед запуском Studio сбросьте пароль по умолчанию:
Скопируйте временный пароль, показанный во время настройки, так как он может понадобиться для завершения сброса.
Теперь запустите Unsloth Studio:
Теперь Studio должно сообщить, что работает на порту
8910. Держите Терминал 1 открытым во время работы с Unsloth Studio и OpenCode.Вернитесь на страницу RunPod Connect и откройте HTTP Service для порта
8910.Используйте ранее сгенерированный временный пароль, чтобы завершить сброс, затем войдите с новым созданным паролем.
Пройдите или пропустите онбординг и откройте страницу Chat.
3. Скачайте и запустите DeepSeek-V4-Flash-0731
Теперь, когда Unsloth Studio запущена, мы можем скачать модель Q8, загрузить её на три GPU и протестировать возможности чата и использования инструментов.
Откройте селектор модели в левом верхнем углу, найдите
unsloth/DeepSeek-V4-Flash-0731-GGUFи выберите квантизацию Q8UD-Q8_K_XL.Мы используем Q8, потому что три A100 обеспечивают достаточно суммарной VRAM. Это сохраняет качество ближе к исходной модели, тогда как более низкие квантизации полезны, когда память оборудования ограничена.
После завершения загрузки Unsloth Studio автоматически начнёт загружать модель в память GPU. Это может занять несколько минут из-за большого размера модели Q8.
После загрузки используйте страницу Chat, чтобы проверить модель на нескольких простых запросах.
В наших тестах скорость генерации достигала примерно 33 токенов в секунду без спекулятивного декодирования, что является разумным результатом для модели такого размера.
Вы также можете включить веб-поиск Studio и попросить модель найти актуальную информацию, например последние цены на золото и серебро. Это полезный способ убедиться, что модель умеет вызывать внешние инструменты, а не полагается только на внутренние знания.
В Терминале 2 проверьте, как модель распределена по GPU:
Вы должны увидеть значительное использование памяти на всех трёх GPU.
В нашем тесте каждый GPU был заполнен примерно на 70%. Однако это не обязательно означает, что полная модель Q8 поместится без проблем лишь на двух 80-гигабайтных GPU, поскольку дополнительная VRAM всё ещё нужна для окна контекста, KV-кэша и буферов инференса.
Наконец, протестируйте модель с планировочным промптом для приложения, которое мы будем собирать:
Модель возвращает структурированный план разработки, охватывающий архитектуру приложения, компоненты, потоки данных, библиотеки графиков, финансовые вычисления и дизайн интерфейса.
4. Подключите DeepSeek-V4-Flash-0731 к OpenCode и соберите сайт
Теперь, когда модель работает в Unsloth Studio, мы можем подключить её к OpenCode и использовать в качестве локального кодирующего агента.
В Терминале 3 задайте URL Studio:
Создайте новую директорию проекта:
Запустите OpenCode через Unsloth Studio:
При первом запуске будет запрошено разрешение на установку OpenCode. Введите «y».
После завершения установки OpenCode запустится с уже настроенной локально работающей моделью DeepSeek-V4-Flash-0731.
Вставьте следующий двухстрочный промпт в OpenCode:
Через несколько секунд кодирующий агент должен создать подробный список задач и начать пошаговую работу над проектом.
Полная сборка заняла около 20 минут в нашем тесте. Пока она выполняется, вы можете вернуться в Unsloth Studio и открыть страницу мониторинга API в Settings, чтобы отслеживать использование модели и скорость генерации.
Мы наблюдали среднюю скорость около 22,6 токена в секунду в процессе кодирования. По мере роста контекста диалога и проекта скорость может снижаться.
После завершения задач OpenCode должен предоставить сводку созданных файлов, функций и команд. Также он должен запустить готовый сайт на порту
9101.Вернитесь на страницу RunPod Connect и откройте HTTP Service для порта
9101.Результат оказался на удивление качественным. Сайт выглядел аккуратно, с анимациями, и напоминал профессиональную торговую панель. Модель завершила веб-приложение по одному промпту, включая интерфейс, представления данных, графики и навигацию.
Вы можете выбирать отдельные тикеры акций, чтобы просматривать свечные графики, исторические показатели, индикаторы и дополнительную информацию о компании.
Вкладка Compare также позволяет сравнивать несколько акций и видеть, какие показывали лучшую динамику за выбранный период.
Я был искренне удивлён, что более компактная локальная модель смогла собрать весь сайт по одному промпту.
После тестирования приложения все ключевые функции работали как задумано, включая котировки в реальном времени, исторические рыночные данные, графики, индикаторы и инструменты сравнения.
Поразительно, как быстро совершенствуются локальные модели и насколько они уже способны выполнять сложные, сквозные задачи разработки.
Заключение
Для меня DeepSeek-V4-Flash-0731 — лучшая локальная модель из тех, что я пока тестировал.
Она показала себя лучше, чем Inkling, 2-битная квантизация GLM-5.2 и Qwen3.6-27B, которая ранее была моей любимой. Это основано на моём собственном опыте, а не на формальном бенчмарке, но теперь это моя предпочтительная локальная модель.
Для большинства практических задач я всё же начал бы с официального API DeepSeek, так как он крайне доступный по цене.
V4 Flash в настоящее время стоит $0,14 за миллион некэшированных входных токенов, $0,0028 за миллион кэшированных входных токенов и $0,28 за миллион выходных токенов. При таком тарифе один миллиард кэшированных входных токенов обойдётся примерно в $2,80 без учёта выходных данных.
Прежде чем остановиться на Unsloth Studio, я пытался запускать модель через
llama.cpp. Предварительно собранный установщик не предоставлял подходящего свежего CUDA-бинарника для моего окружения, и хотя я собрал последнюю версию из исходников, столкнулся с дальнейшими проблемами при включении спекулятивного декодирования DSpark.В итоге Unsloth Studio обеспечила самую простую установку и сняла большую часть ручной конфигурации. Она хорошо работала с OpenCode, хотя сборка полного приложения заняла около 20 минут.