Course
Работа с OpenAI API
3 ч
170.2K
OpenAI представила свою новейшую большую языковую модель GPT-4o, преемницу GPT-4 Turbo. Читайте дальше, чтобы узнать о её возможностях, производительности и о том, как вы можете её использовать.
Что такое GPT-4o от OpenAI?
GPT-4o — это последняя LLM от OpenAI. Буква «o» в названии GPT-4o означает «omni» — по-латыни «всё», что указывает на то, что эта модель умеет принимать подсказки, сочетающие текст, аудио, изображения и видео. Ранее интерфейс ChatGPT использовал отдельные модели для разных типов контента.
Например, при разговоре с ChatGPT через Voice Mode ваша речь сначала преобразовывалась в текст с помощью Whisper, текстовый ответ генерировался GPT-4 Turbo, а затем этот ответ превращался в речь с помощью TTS.
Сравнение обработки голосового ввода в GPT-4 Turbo и GPT-4o
Аналогично, работа с изображениями в ChatGPT сочетала GPT-4 Turbo и DALL-E 3.
Единая модель для разных типов медиа обещает более высокую скорость и качество результатов, упрощённый интерфейс и новые сценарии использования.
Что такое GPT-4o mini?
GPT-4o Mini — облегчённая и более быстрая версия GPT-4o, созданная для задач с приоритетом скорости и эффективности. Она получена из более крупной модели GPT-4o методом, известным как дистилляция.
Сохраняя большую часть исходной способности работать с мультимодальными входами — текстом, аудио и изображениями, — GPT-4o mini оптимизирована для лёгких приложений, где критично быстрое время отклика.
Она особенно полезна разработчикам, которым нужно экономичное решение для кодирования, отладки и взаимодействия в реальном времени без полной вычислительной мощности GPT-4o.
Подробнее читайте в этой статье о GPT-4o mini.
Чем GPT-4o отличается от GPT-4 Turbo?
Подход «всё-в-одном» позволяет GPT-4o преодолеть несколько ограничений прежних голосовых взаимодействий.
1. Учёт интонации, что облегчает эмоциональные ответы
В прежней системе OpenAI, где в конвейере сочетались Whisper, GPT-4 Turbo и TTS, движок рассуждений GPT-4 получал доступ лишь к произнесённым словам. Интонация, фоновые шумы и различение голосов нескольких говорящих отбрасывались. Поэтому GPT-4 Turbo не мог по-настоящему выражать ответы с разной эмоциональной окраской или стилями речи.
Единая модель, способная рассуждать о тексте и аудио, позволяет использовать это богатство звуковой информации для более качественных ответов и большего разнообразия манер речи.
В следующем примере от OpenAI GPT-4o демонстрирует саркастический ответ.
4. Улучшенная токенизация для не латинских алфавитов — выше скорость и выгоднее по цене
Один из шагов в работе LLM — преобразование текста подсказки в токены, то есть единицы текста, понятные модели.
В английском один токен обычно соответствует одному слову или знаку препинания, хотя некоторые слова разбиваются на несколько токенов. В среднем три английских слова занимают около четырёх токенов.
Если язык можно представить в модели меньшим числом токенов, требуется меньше вычислений, и скорость генерации текста возрастает.
Кроме того, поскольку OpenAI взимает плату за API по количеству токенов на входе и выходе, меньше токенов означает меньшую цену для пользователей API.
GPT-4o использует улучшённую модель токенизации, благодаря чему на текст требуется меньше токенов. Больше всего улучшение заметно для языков, не использующих латиницу.
Например, особенно выиграли индийские языки: хинди, маратхи, тамильский, телугу и гуджарати показали сокращение числа токенов в 2,9–4,4 раза. Арабский — в 2 раза, а восточноазиатские языки, такие как китайский, японский, корейский и вьетнамский, — в 1,4–1,7 раза.
5. Появление в бесплатном плане
При текущей ценовой политике OpenAI для ChatGPT доступ к лучшей модели был платным: GPT-4 Turbo предлагался только в тарифах Plus и Enterprise.
Теперь это меняется: OpenAI обещает сделать GPT-4o доступной и в бесплатном плане. Пользователи Plus получат в пять раз больше сообщений, чем пользователи бесплатного тарифа.
Выкатка будет поэтапной: доступ для red team (тестировщиков, пытающихся сломать модель) начинается немедленно, а затем доступ получат и другие пользователи.
6. Запуск десктопного приложения ChatGPT
Хотя это обновление и не эксклюзивно для GPT-4o, OpenAI также объявила о выходе настольного приложения ChatGPT. Снижение задержки и мультимодальность, описанные выше, вместе с релизом приложения, вероятно, изменят наш способ работы с ChatGPT. Например, OpenAI показала демонстрацию расширенного рабочего процесса программирования с использованием голоса и десктопного приложения ChatGPT. Пролистайте вниз до раздела «Сценарии использования», чтобы увидеть пример в действии!
Как работает GPT-4o?
Много типов контента — одна нейросеть
Подробностей о работе GPT-4o пока немного. Единственное, что OpenAI сообщила в анонсе, — GPT-4o представляет собой единую нейронную сеть, обученную на тексте, изображениях и аудио.
Этот подход отличается от прежней техники, когда отдельные модели обучались на разных типах данных.
Однако GPT-4o — не первая модель с мультимодальным подходом. В 2022 году TenCent Lab создала SkillNet — модель, объединившую трансформеры LLM с методами компьютерного зрения для улучшения распознавания китайских иероглифов.
В 2023 году команда ETH Zurich, MIT и Стэнфорда создала WhisBERT — вариацию серии больших языковых моделей BERT. И хотя это не первая попытка, GPT-4o гораздо амбициознее и мощнее этих ранних работ.
Является ли GPT-4o радикальным изменением по сравнению с GPT-4 Turbo?
Степень радикальности изменений архитектуры GPT-4o по сравнению с GPT-4 Turbo зависит от того, спросите ли вы инженеров или маркетологов OpenAI. В апреле на площадке LMSYS Chatbot Arena — таблице лидеров генеративных ИИ — появился бот «im-also-a-good-gpt2-chatbot». Теперь выяснилось, что это и был GPT-4o.
Часть названия «gpt2» важна. Не путать с GPT-2, предшественницей GPT-3.5 и GPT-4: суффикс «2» широко трактовали как указание на совершенно новую архитектуру для линейки GPT.
По-видимому, кто-то в исследовательской или инженерной команде OpenAI считает, что объединение текста, изображений и аудио в одной модели — это изменение, заслуживающее первого повышения версии за шесть лет.
С другой стороны, команда маркетинга выбрала более скромное именование, продолжив конвенцию «GPT-4».
Производительность GPT-4o по сравнению с другими моделями
OpenAI опубликовала показатели бенчмарков GPT-4o в сравнении с несколькими другими топовыми моделями.
- GPT-4 Turbo
- GPT-4 (первый релиз)
- Claude 3 Opus
- Gemini Pro 1.5
- Gemini Ultra 1.0
- Llama 3 400B
Из них для сравнения действительно важны три модели. GPT-4 Turbo, Claude 3 Opus и Gemini Pro 1.5 в последние месяцы боролись за верхние позиции в рейтинге LMSYS Chatbot Arena.
Llama 3 400B может стать претендентом в будущем, но пока не завершена. Поэтому здесь мы приводим результаты только для этих трёх моделей и GPT-4o.
Использовались результаты шести бенчмарков.
- Massive Multitask Language Understanding (MMLU). Задания по элементарной математике, истории США, информатике, праву и многому другому. Для высокой точности модель должна обладать обширными знаниями и навыками решения задач.
- Graduate-Level Google-Proof Q&A (GPQA). Вопросы с множественным выбором, составленные экспертами по биологии, физике и химии. Вопросы очень высокого качества и сложности: эксперты с учёной степенью или обучающиеся на PhD достигают точности 74%.
- MATH. Задачи по математике для средней и старшей школы.
- HumanEval. Тест функциональной корректности кода, применяемый для оценки генерации кода.
- Multilingual Grade School Math (MSGM). Задачи по математике начальной школы, переведённые на десять языков, включая слабо представленные, такие как бенгальский и суахили.
- Discrete Reasoning Over Paragraphs (DROP). Вопросы, требующие понимания целых абзацев — например, сложения, подсчёта или сортировки значений, распределённых по нескольким предложениям.
Производительность GPT-4o, GPT-4 Turbo, Gemini Pro 1.5 и Claude 3 Opus в шести бенчмарках LLM. Баллы по каждому бенчмарку — от 0 до 100. Воссоздано по данным OpenAI. Для Gemini Pro 1.5 не было данных по бенчмарку GPQA.
GPT-4o занимает первое место в четырёх бенчмарках, но уступает Claude 3 Opus в MSGM и GPT-4 Turbo в DROP. В целом это впечатляющие результаты и многообещающий сигнал в пользу нового подхода мультимодального обучения.
Если внимательно посмотреть на цифры GPT-4o по сравнению с GPT-4 Turbo, видно, что приросты составляют лишь несколько процентов.
Это впечатляющий скачок для модели год спустя, но далеко не драматические прыжки, которые были при переходах от GPT-1 к GPT-2 или от GPT-2 к GPT-3.
Вероятно, «на 10% лучше в рассуждениях о тексте из года в год» — новая норма. Лёгкие улучшения уже сделаны, и добиваться больших скачков в текстовом рассуждении трудно.
С другой стороны, эти бенчмарки LLM не отражают работу ИИ над мультимодальными задачами. Концепция настолько нова, что пока нет хороших метрик для оценки моделей сразу по тексту, аудио и зрению.
В целом производительность GPT-4o впечатляет и подтверждает перспективность мультимодального обучения.
Сценарии использования GPT-4o
1. GPT-4o для анализа данных и задач программирования
Современные модели GPT и их производные, такие как GitHub Copilot, уже умеют помогать с кодом: писать его, объяснять и исправлять ошибки. Мультимодальные возможности GPT-4o открывают интересные возможности.
В промо‑видео при участии технического директора OpenAI Мира Муратии исследователи OpenAI Марк Чен и Баррет Зоф демонстрировали работу с Python‑кодом с помощью GPT-4o.
Код передаётся GPT как текст, а для объяснения используется голосовое взаимодействие. Позже, после запуска кода, способность GPT-4o работать с изображениями применяется для объяснения графика.
В целом показать ChatGPT свой экран и озвучить вопрос — потенциально проще, чем сохранять график как изображение, загружать его в ChatGPT и потом печатать вопрос.
4. GPT-4o как помощник для людей с нарушениями зрения
Способность GPT-4o понимать видеопоток с камеры и вслух описывать сцену может стать незаменимой для людей с нарушениями зрения. По сути, это функция аудиодескрипции, как на ТВ, но для реальной жизни.
Практика с GPT-4o
Доступ к некоторым новым возможностям GPT-4o у меня появился вскоре после анонса (увы, пока без голосового чата), и многие ответы произвели хорошее впечатление. Ответы кажутся быстрее и стабильнее, и запросы понимаются лучше, чем раньше. Но это не значит, что всё идеально.
Вот несколько примеров взаимодействий с ChatGPT‑4o:
Задача по анализу данных
Сначала через голосовой чат я попросил придумать идеи анализа игры футбольной команды, за которую болею, — великого «Лидс Юнайтед». Помимо нескольких вариантов, модель привела пример кода на Python:
import pandas as pd
# Sample data for Leeds United's match results
data = {
'Match': ['Match1', 'Match2', 'Match3', 'Match4', 'Match5'],
'Result': ['Win', 'Draw', 'Loss', 'Win', 'Win'],
'Goals Scored': [2, 1, 0, 3, 2]
}
# Create a DataFrame
df = pd.DataFrame(data)
# Summarize match results
summary = df['Result'].value_counts()
total_goals = df['Goals Scored'].sum()
average_goals = df['Goals Scored'].mean()
# Display summary
print("Match Results Summary:")
print(summary)
print("\nTotal Goals Scored:", total_goals)
print("Average Goals Per Match:", round(average_goals, 2))
Однако при дальнейшем углублении тема пошла не так гладко. Я попросил подобрать реальные данные — модель нашла в сети два хороших источника, но неверно передала статистику. «Лидс» провёл 46 матчей в регулярном сезоне, забив 81 гол при разнице +38, тогда как в ответе было указано 40 матчей.
Затем я попросил ChatGPT визуализировать количество голов против каждой команды:
Опять же, задача выполнена наполовину. Визуализация создана, на первый взгляд всё нормально. Но на деле много данных вымышлено и неточно (повторы команд, некорректный подсчёт голов, команды не из той же лиги, что и «Лидс»).
Справедливости ради, результаты были бы лучше, если бы я сам предоставил полный датасет, но хотелось бы, чтобы модель говорила об этом, а не уверенно выдавала выдумки.
Анализ изображения
Далее я попросил GPT-4o проанализировать фото одного из моих растений. Доступа к интегрированному «зрению» у меня пока нет, поэтому я сделал снимок и попросил ChatGPT определить растение:
Неплохо, хотя и не совсем точно. Это действительно бонсай, но Ilex crenata, а не Carmona retusa. Впрочем, они похожи, так что ошибка понятна; полезно было получить советы по уходу.
Генерация изображений
В завершение я хотел проверить визуальные способности новой модели. Сначала показал фото своей черепахи Дарвина и попросил рассказать о моём друге:
Снова близко, но не идеально. Дарвин — это черепаха Хорсфилда, а не Германна, хотя они очень похожи. Затем я попросил ChatGPT‑4o взять исходный снимок и воссоздать его в стиле Хокусая. Вот результат:
Очень неплохо, хотя сходства с оригиналом немного — что в целом ожидаемо. Генерация заняла заметное время.
В целом новая модель порадовала отзывчивостью и тем, как хорошо понимает запросы. Она далека от безупречности и порой уверенно «галлюцинирует», но хочется скорее опробовать улучшенные голос и интегрированное зрение.
Ограничения и риски GPT-4o
Регулирование генеративного ИИ пока на ранней стадии; Закон ЕС об ИИ — единственная заметная правовая рамка на данный момент. Это означает, что компаниям, создающим ИИ, приходится самостоятельно определять критерии безопасности.
У OpenAI есть рамка готовности, по которой оценивается, можно ли выпускать новую модель для широкой публики.
Фреймворк оценивает четыре области риска.
- Кибербезопасность. Может ли ИИ повышать продуктивность киберпреступников и помогать создавать эксплойты?
- BCRN. Может ли ИИ помогать экспертам создавать биологические, химические, радиологические или ядерные угрозы?
- Убеждение. Может ли ИИ создавать (возможно, интерактивный) контент, убеждающий людей менять взгляды?
- Автономность модели. Может ли ИИ выступать агентом, выполняя действия через другое ПО?
Каждая область получает оценку: низкая, средняя, высокая или критическая. Итоговая оценка модели — это наивысшая из четырёх.
OpenAI обещает не выпускать модель с критическим уровнем риска, хотя это довольно низкая планка безопасности: по их определению, критический риск — это то, что может перевернуть человеческую цивилизацию. GPT-4o без труда минует эту планку, получив средний уровень.
Несовершенный вывод
Как и все генеративные ИИ, модель не всегда ведёт себя как задумано. Компьютерное зрение несовершенно, поэтому интерпретация изображений и видео не гарантирует корректность.
Точно так же транскрипции речи редко бывают на 100% точными, особенно при сильном акценте или использовании технических терминов.
OpenAI предоставила видео с дублями, где GPT-4o работала не так, как ожидалось.
Примечательно, что перевод между двумя неанглийскими языками стал одной из неудач. Были и другие проблемы: неподходящий тон (снисходительность) и речь не на том языке.