Inkling: 975 млрд параметров — сколько GPU нужно

Thinking Machines Lab — стартап Миры Мурати, бывшего технического директора OpenAI — выложила в открытый доступ Inkling, модель на 975 миллиардов параметров с лицензией Apache 2.0. Редкий случай, когда действительно открытый флагман можно развернуть у себя, а не только дёргать через API. Остаётся вопрос — какое железо это потянет. Ответ неприятный: одним сервером не обойтись.

Краткое содержание

• 975 млрд параметров всего, активны лишь 41 млрд на токен — «смесь экспертов» (MoE) из 256 плюс два общих эксперта;
• веса открыты на Hugging Face, лицензия Apache 2.0; контекст — до 1 млн токенов, вход текст, изображения и аудио;
• в BF16 нужно около 2 ТБ видеопамяти — это восемь ускорителей Nvidia B300 или шестнадцать H200;
• версия NVFP4 сокращает требования вдвое. Есть облегчённая Inkling-Small на 276 млрд параметров.

Что за модель и почему это не рядовой релиз

Это 66-слойный трансформер с разреженной MoE-архитектурой: 256 «рядовых» экспертов плюс два общих, на каждый токен активируется шесть из них. Из 975 млрд параметров реально работают около 41 млрд — отсюда разумная скорость инференса при таком размере модели. Обучали Inkling на кластерах Nvidia GB300 NVL72, скормив ей порядка 45 триллионов токенов текста, изображений, аудио и видео.

По бенчмаркам Inkling обходит открытые китайские модели DeepSeek V4, GLM 5.2 и Kimi K2.6, но проигрывает закрытым лидерам — Claude и GPT. Thinking Machines хвалится экономностью «размышлений»: сопоставимого с Nemotron 3 Ultra качества рассуждений Inkling достигает, тратя примерно втрое меньше токенов на промежуточные выкладки. Для инференс-биллинга это прямая экономия.

Сколько железа нужно, чтобы её запустить

Вот тут начинается разговор для закупщика, а не только для дата-сайентиста. Полная версия в BF16 требует около 2 ТБ видеопамяти одновременно — это восемь ускорителей Nvidia B300 или шестнадцать H200 в одном узле с быстрой межсоединительной шиной. Квантованная версия NVFP4 снижает требования примерно вдвое, но и она рассчитана на карты класса Blackwell, а не на что попало.

Для тех, кому такой парк не по карману, Thinking Machines выпустила Inkling-Small — 276 млрд параметров, из которых активны 12 млрд. Это уже понятнее в терминах закупки: не гиперскейлерский кластер, а конфигурация, которую реально сравнить с типовым ИИ-сервером на 8 GPU.

Кому это по силам и что учесть при покупке

Восемь B300 или шестнадцать H200 — это не про малый и средний бизнес, а про лаборатории и облачные платформы с готовой инфраструктурой под ИИ-фабрики. Ускорители такого класса подпадают под экспортные ограничения и на российском рынке остаются дефицитным товаром: если решите разворачивать полную версию локально, закладывайте на поставку не недели, а месяцы.

Более реалистичный путь для большинства компаний — не гнаться за флагманом, а присмотреться к Inkling-Small или квантованной версии старшей модели под конкретную задачу. Модель также доступна без локального железа — через платформу Tinker и сторонние API вроде TogetherAI, Fireworks, Modal, Databricks и Baseten, с поддержкой vLLM и SGLang для тех, кто всё же разворачивает инференс сам.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U