Введение: Ограничения железа против растущих аппетитов LLM

Пока дата-центры соревнуются в покупке кластеров из сотен H100, реальность рядового разработчика выглядит куда скромнее: домашний ноутбук с 16 ГБ памяти и огромная неразделённая любовь к локальным языковым моделям. За последние несколько лет индустрия искусственного интеллекта столкнулась с парадоксом: языковые модели растут экспоненциально, в то время как объем RAM на потребительских и даже серверных машинах остается ограниченным финансовыми и физическими барьерами. Стандартная парадигма инференса требует полной загрузки весов модели в оперативную память (RAM) или видеопамять (VRAM) ускорителей. Если модель весит 70 миллиардов параметров в 4-битном квантовании (около 35–40 ГБ), вам потребуется сервер с минимум 64 ГБ RAM или дорогая связка из нескольких видеокарт.

Представьте типичный сценарий: вы хотите локально протестировать свежую DeepSeek-модель для анализа защищенного медицинского архива компании, где утечка данных на внешние API исключена. На руках — ультрабук с быстрым NVMe SSD на 2 ТБ, выдающим 7000 МБ/с, но всего 32 ГБ RAM. Классический запуск падает с фатальным Out Of Memory (когда ваша система внезапно решает, что 32 ГБ — это слишком буржуазно). Решением этой проблемы становятся специализированные подходы, такие как Janas — системы выполнения больших языковых моделей путем потоковой передачи (streaming) весов прямо с твердотельного накопителя в обход традиционных ограничений.

В этой статье мы разберем, как устроена эта технология, почему архитектура Mixture of Experts (MoE) идеальна для потокового инференса и как NVMe SSD становится новым уровнем иерархии памяти для ИИ.

Анатомия проблемы: Почему классический инференс упирается в RAM

Чтобы понять принципы работы Janas, давайте вспомним, как устроен классический процесс генерации текста в LLM. При авторегрессионной генерации (autoregressive generation) каждый токен проходит через десятки последовательных слоев трансформера. На каждом шаге модель обращается к весам сети.

Производительность инференса упирается в пропускную способность памяти (Memory Bandwidth). Пропускная способность современной оперативной памяти составляет от 50 до 100 ГБ/с. Когда модель не помещается в RAM, операционная система задействует файл подкачки (swap). Из-за высоких задержек накопителей скорость генерации падает до долей токена в секунду, делая работу с моделью невозможной.

Именно здесь на сцену выходят архитектурные хитрости, меняющие правила игры.

Архитектура Mixture of Experts (MoE) как ключ к потоковой передаче

В плотных моделях (Dense LLM) каждый нейрон участвует в обработке каждого токена. В архитектуре Mixture of Experts (MoE) вместо одного гигантского слоя FFN (Feed-Forward Network) используется множество "экспертов" (небольших нейросетей), а специальный маршрутизатор (router) выбирает только нужных экспертов для каждого конкретного токена.

Например, модель может содержать 80 млрд параметров суммарно, но для обработки одного токена задействуется лишь малая их часть — скажем, 13 млрд. Это снижает вычислительную нагрузку и позволяет реализовать ленивую загрузку (lazy loading) данных.

Но как заставить железо успевать подтягивать нужных экспертов «на лету»? Ответ кроется в организации дискового ввода-вывода.

Как работает Janas: Инференс через потоковый NVMe I/O

Подход Janas переосмысливает иерархию памяти (RAM-to-GPU), добавляя в уравнение быстрый NVMe SSD как виртуальный расширитель памяти. Основные принципы работы системы включают:

  • Предиктивная маршрутизация: Предсказание того, какие эксперты понадобятся на следующих шагах генерации.
  • Асинхронный префетчинг (Prefetching): Загрузка весов нужных экспертов с NVMe SSD в RAM/VRAM в фоновом режиме параллельно с вычислениями текущего токена.
  • Интеллектуальное кэширование: Удержание часто используемых экспертов в оператив