Kimi K2.7 Code: триллион параметров — сколько GPU

Moonshot AI выложила в открытый доступ Kimi K2.7 Code — модель для агентного программирования на триллион параметров. Веса открыты, лицензия MIT: можно поднять у себя и не отдавать код в чужое облако. Остаётся один вопрос — какое железо это потянет. И вот тут начинается интересное: одной видеокарты, вопреки первому впечатлению, не хватит.

Краткое содержание

• 1 триллион параметров всего, активны лишь 32 миллиарда на токен — это «смесь экспертов» (MoE) из 384 экспертов;
• веса открыты, лицензия MIT, запуск через vLLM, SGLang или KTransformers — модель остаётся в вашем периметре;
• контекст 256 тысяч токенов, родное квантование INT4;
• на диске веса занимают около 595 ГБ — это не одна карта, а сервер с полутерабайтом видеопамяти.

Что за модель

Kimi K2.7 Code заточена под агентное программирование: длинные автономные сессии, где модель сама ведёт задачу через множество шагов. Архитектура разрежённая — из триллиона параметров на каждый токен работают лишь 32 миллиарда, остальное «спит». По сравнению с прошлой версией K2.6 она тратит примерно на треть меньше токенов на рассуждения. На агентных тестах держится рядом с закрытыми флагманами GPT-5.5 и Claude Opus, местами чуть позади — но при этом полностью открыта.

• 1 триллион параметров, активны 32 миллиарда на токен — MoE из 384 экспертов;
• контекст 256 тысяч токенов, внимание Multi-Head Latent Attention;
• родное квантование INT4, фреймворки vLLM, SGLang, KTransformers;
• лицензия MIT, веса открыты на Hugging Face.

Сколько нужно видеопамяти

Подвох прячется в слове «активны». На каждый токен модель задействует лишь 32 миллиарда параметров, и отсюда легко сделать вывод, что хватит одной карты на 32–40 ГБ. Это ловушка. Активная часть меняется от токена к токену, поэтому в памяти должны лежать все веса целиком, а они в родном INT4 занимают около 595 ГБ на диске. Значит, и видеопамяти нужно того же порядка — полтерабайта с лишним.

На практике это сервер с несколькими ускорителями. Восемь карт по 80 ГБ дают 640 ГБ — впритык под веса и контекст. Нужен запас под длинные сессии и KV-кеш на 256 тысяч токенов — берите ускорители на 96 или 141 ГБ. Разрежённая архитектура выручает скоростью: считается только активная часть, инференс идёт быстро. А память она не экономит — её нужно ровно столько, сколько весит вся модель.

Кому это нужно

Главный сценарий — собственный агент-программист внутри компании, когда код не должен покидать периметр. Лицензия MIT снимает юридические вопросы коммерческого использования. Тем, кому не нужен весь триллион локально, остаётся официальный API: входной миллион токенов стоит около 0,95 доллара. Но как только важны приватность кода и предсказуемая цена на потоке, экономика своего сервера начинает обыгрывать облако. В России узкое место не сама модель, а доступность и цена ускорителей на 80 ГБ и выше.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U