Как запустить GPT-oss локально: инструкция для «чайников»

На днях OpenAI выпустила GPT-oss — сразу две ИИ-модели с открытым исходным кодом. Среди ключевых особенностей — полностью бесплатное распространение, возможность редактировать код под свои задачи, а также работа в локальном режиме. Детальнее об этом мы уже рассказывали здесь.

В этом материале расписываем по пунктам, как запустить GPT-oss полностью локально, и что для этого потребуется.

GPT-oss в двух словах

С 2019 года, со времён GPT-2, продукция компании OpenAI закрытая. Отладку контролируют только разработчики, а у пользователей и администраторов нет возможности посмотреть исходный код. Также неизвестно, каким образом происходило обучение. Иными словами, как GPT устроены «под капотом» общественности неизвестно.

Общие преимущества

• Возможность локального запуска;
• Полностью бесплатная схема распространения, в том числе для коммерческого использования;
• Открытый исходный код. Как следствие — 100% безопасность данных;
• Есть режим рассуждения;
• Полная поддержка русского языка.

Версии

• GPT-oss-120b — тяжеловесная версия на 120 млрд параметров. Занимает 64 ГБ дискового пространства;
• GPT-oss-20b — упрощённая версия на 20 млрд параметров. Менее точная и развитая. Требуется 12 ГБ на диске.

Системные требования

О системных требованиях OpenAI рассказала очень размыто. Младшей версии достаточно ноутбука с 16 ГБ оперативной памяти, старшей требуется видеокарта с 80 ГБ видеопамяти или аналогичное количество оперативки.

Отдельно отметим, что это не «минималки», а рекомендуемые. На более слабых системах работать будет, но медленнее.

По-простому говоря, если GPT-oss-20b достаточно хиленького игрового ПК, то для GPT-oss-120b потребуется неслабая рабочая станция. Мы подготовили несколько специализированных решений для локального запуска. Впрочем, владельцы приличных игровых ПК тоже могут попробовать

GPT-oss: как запустить

Чтобы «поднять» локальный ИИ, не требуются продвинутые навыки программирования и умение работать с командной строкой. Мы рассмотрим процесс на примере популярной платформы LM Studio с удобным графическим интерфейсом.

Шаг 1 — установка LM Studio

• Скачать приложение LM Studio здесь(это бесплатно);
• Установить и запустить программу;
• Желательно сразу в нижней левой части экрана выбрать режим «Developer», который открывает дополнительные функциональные возможности;
• Желательно в правой нижней части нажать на «шестерёнку» и для простоты восприятия выбрать русский язык (перевод частичный).

Шаг 2 — добавляем модель

Поскольку GPT-oss — большая новинка, LM Studio сразу предложит установить GPT-oss-20b. Можете так и сделать, но мы покажем большой путь.

• В левой части нажать на лупу (кнопка «Обзор моделей»);
• В появившемся списке выбрать GPT-oss-20b или GPT-oss-120b, после чего нажать «Download»;
• Дождаться окончания загрузки и установки (это происходит автоматически).

60 МБ в секунду — качается быстро

LM Studio сразу показывает, будет ли работать модель на конкретной конфигурации компьютера. В случае тестового ПК с GeForce RTX 5080 LM Studio говорит, что oss-20b целиком поместится в видеопамять и будет работать просто замечательно, а вот для GPT-oss-120b видеопамяти маловато. В нашем случае оперативной памяти тоже недостаточно.

Шаг 3 — запуск

• Сразу после установки нажать намекающее «Load model» в правой нижней части экрана;
• Если пропустили этот момент — слева выбрать «Чат», и далее по центру сверху указать, какую модель запускать.

Скорость запуска модели напрямую зависит от скорости работы видеопамяти.

Failed to index the following model

Поскольку GPT-oss были выпущены совсем недавно, многие пользователи сталкиваются с ошибкой Failed to index the following model. Показываем, как быстро её исправить:

• Слева выбрать раздел «Мои модели». В нужной модели под колонкой «Действия» нажать три точки и «Открыть в проводнике»;
• В появившемся списке найти файл Model.yaml. Открыть с помощью обычного «Блокнота»;
• В выделенном на изображении фрагменте замените «select» на «string»;
• Сохранить изменения, закрыть.

Несколько примеров использования

С описанием нашей компании получилось не сильно хорошо

Со второй попытки тоже

Внятный анализ документа получился с третьего раза (документ — эта статья)

Генерация мини-статьи адекватная