Supermicro, IBM и NVIDIA вынесли KV-кэш на общее хранилище: первый токен до 56 раз быстрее

Supermicro 5 ноября 2026 года вместе с IBM и NVIDIA представила готовое решение для хранения KV-кэша — промежуточных данных, которые языковая модель вычисляет, когда читает контекст запроса. Кэш сохраняется на общем флеш-хранилище из серверов Supermicro Petascale и при повторном запросе загружается оттуда, а не считается заново на GPU. В совместном тесте с моделью на 120 млрд параметров время до первого токена на запросе длиной 130 тыс. токенов сократилось до 56 раз: с 32,1 с до 0,57 с. Это результат одного конкретного теста, а не гарантия для любых моделей и нагрузок.

Источники: пресс-релиз Supermicro (05.11.2026), IBM Redbook «Context Without Limits» (MD260021, ред. от 20.08.2026), StorageReview, Futurum Group.

Почему это важно

Прежде чем выдать первое слово ответа, модель читает весь запрос: инструкцию, документы, историю диалога. Для каждого токена она вычисляет пары «ключ — значение» (key-value) в каждом слое — это и есть KV-кэш. Он лежит в памяти GPU, но её мало: у RTX PRO 6000 Blackwell 96 ГБ, и в тесте IBM после загрузки модели на кэш осталось 19,6 ГБ — примерно четыре контекста по 130 тыс. токенов. Когда место кончается, кэш выбрасывается, и при следующем обращении к тому же контексту GPU снова тратит десятки секунд на пересчёт.

Решение Supermicro, IBM и NVIDIA добавляет ещё один уровень памяти — общее хранилище на NVMe. Фреймворк NVIDIA Dynamo выгружает туда рассчитанные блоки кэша, а при повторном запросе (тот же длинный документ, тот же системный промпт агента, продолжение диалога) подгружает их по сети вместо пересчёта. Хранилище общее, поэтому кэш, посчитанный на одном GPU-сервере, может использовать другой.

Что это даёт:

• Время до первого токена почти перестаёт зависеть от длины контекста: в тесте 0,19–0,57 с на запросах от 10 до 130 тыс. токенов.
• GPU не тратит время на повторные вычисления: при 28 одновременных подключениях 200 запросов обработаны за 47 с вместо 1049 с.
• Кэш живёт днями и неделями и не теряется при перезапуске сервиса или GPU-узла.

Ограничения:

• Ускорение есть только для повторяющегося контекста. Новый уникальный запрос всё равно считается на GPU.
• Нужны быстрые NVMe и сеть 200–400 Гбит/с: кэш длинного контекста весит гигабайты (расчёт — ниже).
• Это ещё одна система, которую надо купить, настроить и обслуживать, а IBM Storage Scale — платное ПО.

Из чего состоит решение и как его тестировали

Источники: IBM Redbook MD260021 «Context Without Limits: A High-Performance KV Cache Platform for Large-Scale AI Inference»; StorageReview, 06.11.2026; пресс-релиз Supermicro, 05.11.2026. Тесты проводили сами IBM, Supermicro и NVIDIA, независимой проверки нет.

Данные IBM Redbook MD260021. В тесте пропускной способности — 100 уникальных промптов, 24 млн токенов и 825 ГБ KV-кэша; результат с кэшем включает первое заполнение кэша. Строка «помехи» — посторонний трафик 200 ГБ/с от четырёх клиентов в той же сети: прирост сократился с 22 до 18 раз.

Кто ещё предлагает хранилища для KV-кэша

Источники: IBM Redbook MD260021; блог VAST Data; StorageReview (VAST и AMD, июль 2026); WWT; Blocks and Files (CES и GTC 2026); Futurum Group. Цифры получены в разных тестах, на разных моделях и железе и напрямую не сравниваются. Об интеграции с Dynamo также заявляли DDN, Dell, HPE, NetApp, Pure Storage и другие производители СХД.

Сколько места занимает KV-кэш: расчёт для популярных моделей

Размер кэша на один токен считается по формуле: 2 × число слоёв × число KV-голов × размер головы × байт на число. Двойка — это ключ и значение, в формате BF16/FP16 на число приходится 2 байта, в FP8 — 1 байт (кэш вдвое меньше). Параметры берутся из файла config.json модели. Для длинного контекста кэш легко превышает десятки гигабайт — поэтому его и выносят из GPU.

Расчёт КомпаРЕМА по параметрам моделей, на один запрос, в двоичных единицах (1 ГБ = 1024 МБ), 128 тыс. = 131 072 токена. * У gpt-oss-120b 36 слоёв, но полное внимание только в 18, остальные смотрят на последние 128 токенов и почти не занимают места. Проверка: в тесте IBM 825 ГБ кэша на 24 млн токенов — около 34 КБ на токен. Модели с другим устройством внимания (например, MLA у DeepSeek) считаются иначе.

Хватит ли сети: сколько секунд грузится кэш

Загрузка кэша из хранилища выгодна, пока она быстрее пересчёта. Время загрузки — это размер кэша, делённый на скорость канала между GPU-сервером и хранилищем:

Теоретический расчёт по скорости линии, без накладных расходов; размеры кэша здесь в десятичных гигабайтах (1 ГБ = 10⁹ байт). Для сравнения: пересчёт контекста 130 тыс. токенов gpt-oss-120b на одной RTX PRO 6000 в тесте IBM занял 32,1 с. В тесте GPU-сервер был подключён двумя каналами по 400 Гбит/с.

Уровни хранения KV-кэша в NVIDIA Dynamo

Источник: IBM Redbook MD260021. Подробнее о другом способе расширить память под KV-кэш — через память CXL — в нашей новости о XCENA MX1 и SK hynix.

Хронология

Что это значит для покупателей в России

Готовый комплект Supermicro с IBM Storage Scale в Россию официально не поставляется, но саму архитектуру можно повторить из доступных компонентов. NVIDIA Dynamo, vLLM и LMCache — открытое ПО, а вместо Storage Scale можно использовать любое быстрое хранилище на NVMe. При проектировании ИИ-кластера стоит считать не только GPU и их память, но и NVMe-узлы под кэш, сеть 200–400 Гбит/с между ними и то, как часто у ваших пользователей повторяется контекст. Что есть в наличии для такой системы:

• Supermicro AS-5126GS-TNRT — 5U GPU-платформа на двух AMD EPYC 9005/9004, до 8 двухслотовых GPU, в том числе RTX PRO 6000 Server Edition: основа сервера инференса.
• NVIDIA RTX PRO 6000 Blackwell Server Edition 96 ГБ — ускоритель того же семейства, что в тесте: модели до ~120 млрд параметров в 4-битном формате на одной карте.
• ASUS RS700A-E13-RS12U/12NVMe — 1U на двух EPYC 9005 с 12 отсеками NVMe: узел хранилища для кэша.
• Gigabyte R184-S94-AAV1 — 1U с 16 отсеками E3.S NVMe Gen5, как у Petascale в тесте, но на Intel Xeon 6.
• AMD EPYC 9535 — 64 ядра, тот же процессор, что стоит в узлах хранения в тесте.
• Kioxia CD8P-R 7,68 ТБ — U.2 NVMe PCIe 5.0 до 12 000 МБ/с: та же ёмкость, что у дисков в тесте.
• Samsung PM1743 3,84 ТБ — PCIe 5.0 до 14 000 МБ/с: быстрый локальный кэш (уровень G3) в GPU-сервере.

Вопросы и ответы