Что такое Stable Code 3B?

С момента запуска ChatGPT в конце 2022 года (события, которое открыло нынешнюю эру ИИ) генеративные модели ИИ стали мощнее и разнообразнее. Ежедневно на рынок выходят новые модели разного размера, с разными возможностями, модальностями и сценариями использования, что затрудняет определение границ возможного.

В целом прослеживается явная тенденция к созданию более крупных и сложных моделей. Увеличение числа параметров и объёма обучающих данных считается лучшей стратегией повышения качества больших языковых моделей (LLM) — базовой технологии генеративного ИИ. Рекомендуем отдельную статью, чтобы подробно разобраться, что такое LLM.

Однако на фоне растущей обеспокоенности ресурсами, необходимыми для обучения и запуска таких крупных моделей (а также их экологическим следом), эффективность разработки и развёртывания ИИ стремительно выходит на первый план.

В этой статье представлен Stable Code 3B — последняя модель, выпущенная компанией Stability AI, специально разработанная для точного и оперативного программирования. Это исключительно точная модель для задач кодирования: LLM демонстрирует уровень качества, сопоставимый с передовыми LLM, при этом значительно уменьшая размер.

Что такое Stable Code 3B?

Выпущенный в январе 2024 года компанией Stability AI, Stable Code 3B — это LLM с 3 миллиардами параметров, разработанная для задач программирования. Это продвинутая версия предшественника — Stable Code Alpha 3B.

Stable Code 3B превосходно справляется с автодополнением кода и может служить отличным учебным инструментом для начинающих программистов. Модель доступна бесплатно для исследовательских целей или личного использования. Для коммерческих приложений необходимо оформить подписку на один из планов Stability AI Memberships.

Stable Code 3B — один из лучших продуктов среди LLM сопоставимого размера (подробнее о метриках качества — в следующем разделе), показывая отличные результаты при существенно меньшем размере. Благодаря компактности и эффективности Stable Code 3B может работать офлайн на обычных ноутбуках, даже без выделенного GPU, например на MacBook Air.

Как работает Stable Code 3B?

Stable Code 3B — компактная модель с 2,7 миллиарда параметров. Это трансформер с декодером (decoder-only), схожий с открытым проектом Meta — LLaMA. Отдельная статья рассказывает все детали о LLaMA.

Процесс обучения Stable Code 3B явно вдохновлён моделью Meta CodeLLaMA. Модель основана на предварительно обученной LLM от Stability AI — StableLM-3b-4e1t, которая служит фундаментальной моделью.

Модель прошла тонкую настройку в два этапа. На первом этапе её обучали на нескольких датасетах с кодом и связанных с кодом, включая CommitPack, GitHub Issues, StarCoder и другие математические наборы. Обучающие данные включают код на 18 популярных языках программирования, среди которых Python, R, Java и C.

Затем модель дополнительно дообучили на более длинных последовательностях в 16 384 токена с применением техник fill-in-the-middle, как предложено в исследовательской работе CodeLLaMA. Второй этап позволяет модели поддерживать длинные окна контекста до 100 000 токенов. Это особенно важно для задач кодирования: при более длинных входных последовательностях разработчики могут передавать модели больше контекста и протяжённые фрагменты кода из своей базы, чтобы получать более релевантные и точные результаты.

Метрики качества Stable Code 3B

Разработчики Stability AI создали модель, достигающую передовых результатов среди моделей схожего размера по метрикам MultiPL-E на нескольких протестированных языках программирования. Сравнение показано на следующем изображении:

Сравнение производительности Multi-PL моделей до 3B. Источник: Stability AI

Stabe Code 3B также превосходит существенно более крупные модели. Например, она достигает того же уровня качества, что и CodeLLaMA 7b — её основной источник вдохновения — при уменьшении размера модели на 60%.

Сравнение Stable Code Completion 3B и CodeLLama 7B. Источник: Stability AI

Применения Stable Code 3B

Ассистенты программирования на базе ИИ, такие как Stable Code 3B, открывают множество возможностей в разработке ПО и анализе данных. Вот некоторые способы, которыми программисты уже пользуются ИИ:

Автоматизация задач

Stable Code 3B может без труда автоматизировать рутинные и повторяющиеся задачи, такие как базовые SQL-запросы, разведочный анализ данных и упрощение рабочих процессов в проектах data science. Это помогает программистам избавляться от трудоёмких задач и сосредоточиться на более сложной и интересной работе. Чтобы увидеть, как это выглядит на практике, ознакомьтесь с нашим наглядным гайдом по использованию ChatGPT в data science.

Исправление ошибок

Отладка часто занимает много времени и может быть непростой, особенно в сложных проектах со сотнями строк кода. Stable Code 3B — идеальный помощник, который ускорит процесс: просканирует ваш код за секунды и предложит варианты исправления и улучшения структуры. Благодаря длинному окну контекста пользователи могут передавать модели большие скрипты, и Stable Code 3B найдёт потенциальные ошибки и подводные камни в коде.

Оптимизация кода

В сложных проектах, требующих значительных вычислительных ресурсов, эффективность критически важна. То, как написан код, может серьёзно на неё влиять. Stable Code 3B поможет переписать код так, чтобы повысить эффективность, сэкономив время, ресурсы и деньги.

Интерпретируемость кода

Понимать чужой код порой непросто, особенно начинающим разработчикам. Stable Code 3B не только предлагает улучшения, но и даёт подробные объяснения отдельных фрагментов, помогая учиться быстрее.

Чтобы понять, как генеративный ИИ можно использовать в обучении, настоятельно рекомендуем попробовать DataCamp Workspace. Мы используем модели GPT‑3.5 и GPT‑4 для работы нашей IDE по data science и помогаем разбираться в сложном синтаксисе. Ознакомьтесь с отдельным руководством, чтобы начать работу в DataCamp Workspace.

Как скачать модель Stable Code 3B

Лучший способ начать со Stable Code 3B — через HuggingFace API. Вы можете легко импортировать модель в свою среду Python и начать генерировать текст с помощью следующего кода:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("stabilityai/stable-code-3b", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
  "stabilityai/stable-code-3b",
  trust_remote_code=True,
  torch_dtype="auto",
)
model.cuda()
inputs = tokenizer("import torch\nimport torch.nn as nn", return_tensors="pt").to(model.device)
tokens = model.generate(
  **inputs,
  max_new_tokens=48,
  temperature=0.2,
  do_sample=True,
)
print(tokenizer.decode(tokens[0], skip_special_tokens=True))

Как использовать Stable Code 3B в коммерческих приложениях

Как уже упоминалось, Stable Code 3B доступен бесплатно для исследовательских целей или личного использования. Для коммерческих приложений пользователям необходимо оформить подписку на один из планов Stability AI Memberships.

На данный момент Stability AI предлагает два типа подписок помимо некоммерческой, что показано на следующем изображении:

Подписки Stability AI

Тариф Professional стоит $20 в месяц и предоставляет доступ и право коммерческого использования Core Models Stability AI, включающих модели для генерации изображений, видео, 3D, текста и кода. Тариф Enterprise предназначен для крупных компаний, имеет индивидуальную стоимость и набор корпоративных возможностей.

Узнать больше

Сейчас отличное время быть специалистом по данным. Индустрию ждут перемены вслед за массовым внедрением генеративных инструментов ИИ, таких как Stable Code 3B.

Лучший способ идти в ногу с ИИ‑революцией — оставаться в курсе и своевременно обновлять знания. DataCamp поможет. Ознакомьтесь с нашими материалами о других мощных инструментах генеративного ИИ:

• OpenAI API в Python
• Тонкая настройка LLaMA 2: пошаговое руководство по кастомизации большой языковой модели
• Mistral 7B: пошаговое руководство по использованию и тонкой настройке
• Как тонко настроить GPT‑3.5: раскрываем весь потенциал ИИ