AMD покупает Taalas: модель, вшитая прямо в кремний

AMD объявила о покупке канадского стартапа Taalas, который «зашивает» веса нейросети прямо в кремний чипа — без обращения к внешней памяти на каждом такте. Для бизнеса, который платит за инференс по счётчику GPU-часов, это шанс на принципиально другую экономику обслуживания стабильных, часто используемых моделей.

Краткое содержание

• тестовый чип HC1 выдаёт до 17 000 токенов в секунду на Llama 3.1 8B;
• веса модели «прошиты» в кремний вместо загрузки из HBM-памяти;
• чип следующего поколения HC2 нацелен на 20 миллиардов параметров — ждём его летом 2026 года;
• сделка встраивается в стек AMD — Helios, EPYC и ROCm, закрытие ожидается в четвёртом квартале 2026 года.

Почему чип без HBM обгоняет GPU

Обычный GPU на каждом шаге вывода читает веса модели из HBM-памяти и гоняет их по шине к вычислительным блокам. Именно на это уходит основная часть энергии и времени. У Taalas по-другому: часть кристалла — «маскированная ПЗУ»-структура (mask-ROM), где веса модели физически зашиты при производстве, а отдельный блок SRAM хранит KV-кэш и LoRA-адаптеры для точной донастройки. К внешней памяти обращаться почти не нужно, поэтому задержка и энергопотребление падают на порядок. Тестовый чип HC1 — TSMC 6 нм, 53 миллиарда транзисторов — выдал до 17 000 токенов в секунду на модели Llama 3.1 8B. По замерам самой Taalas, сделанным ещё до сделки с AMD, это в 48 раз быстрее GPU Nvidia и в 8,5 раза быстрее ускорителей Cerebras на той же задаче.

Что это меняет для инфраструктуры

Следующее поколение HC2 должно вместить уже 20 миллиардов параметров на кристалл — это выводит подход за пределы демо-моделей. По расчётам Taalas, обслуживание модели на триллион параметров потребует порядка 50 чипов HC2. Классический путь на GPU Nvidia — это несколько ускорителей плюс около 2000 LPU конкурента Groq для сопоставимой скорости отдачи токенов. AMD не собирается заменять GPU этой технологией, а хочет её дополнить: обработку запроса (prompt processing) оставить на Instinct-ускорителях, а генерацию токенов передать чипам Taalas. Весь стек свяжут процессоры EPYC, системы Helios и программная среда ROCm.

Ещё одна сделка AMD в гонке за инференс

Taalas — не первая ставка AMD в этой гонке. Ранее компания купила разработчика ИИ-моделей Silo AI и производителя серверной инфраструктуры ZT Systems, а всего за пару недель до сделки с Taalas объявила о партнёрстве с Cerebras — ещё одним разработчиком специализированных ИИ-чипов. Картина складывается в стратегию: AMD собирает под одной крышей GPU, CPU, сетевую инфраструктуру и теперь ещё и специализированный кремний для инференса, чтобы конкурировать с Nvidia не одной картой, а целым стеком.

Смена модели обойдётся в новый чип

У подхода есть цена — в буквальном смысле. Раз веса зашиты в кремний, поменять модель на лету нельзя. Точная донастройка через LoRA-адаптеры возможна, но серьёзное обновление весов требует нового кристалла. Taalas утверждает: для этого достаточно поменять два металлических слоя маски, а не переделывать чип целиком, и оценивает такую «перепрошивку» примерно в 100 раз дешевле обучения топовой модели с нуля. Технология подходит компаниям, которые гоняют одну стабильную модель в промышленном объёме — массовый чат-бот, рекомендательный сервис. Лабораториям, которые меняют веса каждую неделю, она не подойдёт.

Для каких задач Компактный GPU-сервер до 2 видеокарт для начальных задач в AI и графике. Оптимален для инференса, визуализации, VFX и рендеринга в студиях и лабораториях, где важна гибкость.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 282 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 4.5U

Для каких задач Универсальная платформа на 4–6 GPU для локального обучения моделей и генеративных задач. Подходит для команд, которым важна надёжность сервера и свобода выбора графики — от RTX 5090 до PRO RTX 6000.

Подробнее

Видеокарты

RTX / RTX PRO / H200 NVL

Объем видеопамяти до 576 ГБ

Процессоры

Threadripper PRO

Количество ядер до 96

RAM до 1024 ГБ DDR5

Форм-фактор 6.5U

Для каких задач Сервер промышленного уровня на 8 GPU с кластерной архитектурой. Предназначен для дата-центров и AI-ферм, где требуется масштабируемость и полная загрузка ресурсов под обучение LLM и R&D.

Подробнее

Видеокарты

RTX PRO 6000 / RTX 5090

Объем видеопамяти до 768 ГБ

Процессоры

AMD Epyc, Intel Xeon

Количество ядер до 320

RAM до 3072 ГБ DDR5

Форм-фактор 6U

Для каких задач Серия серверов для кластеризации на 4 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 564 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 128

RAM до 1536 ГБ DDR5

Форм-фактор 2U

Для каких задач Серия серверов для кластеризации на 8 GPU. Предназначены для дата-центров и AI-ферм, где требуется повышенная плотность для обучение LLM и R&D.

Подробнее

Видеокарты

L40s / RTX PRO / H200 NVL

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 4U

Для каких задач HGX объединяет 8 видеокарт NVIDIA H200, достигая экстремальной плотности производительности. Благодаря внутренней связности NVSwitch мгновенно интегрируется в масштабные вычислительные кластеры.

Подробнее

Видеокарты

NVIDIA H200 SXM

Объем видеопамяти до 1128 ГБ

Процессоры

AMD EPYC, Intel Xeon

Количество ядер до 256

RAM до 2048 ГБ DDR5

Форм-фактор 5U